Lewati ke konten
  • Jenjang 3 · Higher Up
  • Kredensial terverifikasi

LLMOps: Mengoperasikan Aplikasi LLM di Produksi

Bawa aplikasi LLM dari demo ke produksi: evaluasi otomatis sebelum rilis, pemantauan kualitas dan biaya, model serving, dan rencana saat penyedia model gagal. Rubrik menilai keputusan operasional Anda di bawah batasan biaya dan latensi.

Solvera AI & Technology AcademyBahasa Indonesia · terbit 14 Oktober 2026

Ringkasan

Untuk siapa • DevOps atau platform engineer yang mulai diminta mengoperasikan aplikasi AI. • AI engineer yang aplikasinya sudah jalan tetapi belum siap dioperasikan di produksi. • Lulusan kelas RAG atau kelas agen yang ingin menyelesaikan sisi operasionalnya. Yang akan Anda bangun Lapisan operasional untuk satu aplikasi LLM (boleh aplikasi dari kelas sebelumnya atau aplikasi contoh yang disediakan): gerbang evaluasi di CI, gateway model dengan cadangan penyedia, pemantauan latensi, biaya, dan kualitas, serta perbandingan biaya antara API berbayar dan model terbuka yang dijalankan sendiri. Setelah kelas ini Anda mampu • Menyusun gerbang evaluasi otomatis yang memblokir rilis bila kualitas turun. • Melayani model terbuka sendiri dan membandingkan biaya serta latensinya dengan API berbayar. • Membangun gateway model: batas laju, cache, cadangan penyedia, dan pencatatan. • Memantau kualitas jawaban, latensi, token, dan biaya per fitur. • Menulis runbook insiden khusus aplikasi LLM. • Memperkirakan kebutuhan GPU dan memilih antara sewa dan API. Prasyarat • Docker dan CI/CD dasar. • Pernah membangun atau mengoperasikan aplikasi yang memanggil API LLM. • Linux command line. Cara belajar Belajar mandiri sesuai waktu Anda, sekitar 56 jam termasuk mengerjakan karya. Tidak ada jadwal sesi langsung. Karya dikerjakan dalam empat tahap (kerangka, draf, revisi, final), dan setiap tahap direview oleh reviewer bernama yang memberi umpan balik tertulis. Rubrik penilaian bisa Anda baca sebelum mulai mengerjakan. Kredensial Lulus tahap final dengan skor berbobot minimal 75% akan memberi Anda kredensial Terverifikasi Exelern dengan halaman verifikasi publik. Halaman itu memuat karya Anda, nama reviewer, dan rubrik yang dipakai, sehingga pemberi kerja bisa memeriksanya sendiri.

Yang Anda dapatkan

  • 9 materi yang bisa dibuka kapan saja
  • Karya 4 tahap, tiap tahap dibalas reviewer bernama
  • Kredensial yang bisa diperiksa siapa pun tanpa login, bila karya Anda lulus

Kelas ini berada di Jenjang 3 · Higher Up: karyanya setara pekerjaan nyata, dan rubriknya menilai keputusan yang Anda ambil, bukan kebenaran langkah.

Karya & rubrik

Kelas ini ditutup dengan karya yang dinilai reviewer bernama memakai rubrik di bawah — rubrik yang sama persis dengan yang dipakai menilai pekerjaan Anda nanti.

  1. 1Kerangka
  2. 2Draf
  3. 3Revisi
  4. 4Final
  1. Lapisan operasional produksi untuk satu aplikasi LLM: gerbang evaluasi, gateway, pemantauan, dan runbook

    Ambil satu aplikasi LLM yang sudah berjalan dan siapkan untuk produksi. Anda menentukan sendiri target kualitas, latensi, dan biaya, lalu membuktikan sistem Anda menegakkannya. Simulasikan minimal dua insiden (penyedia model mati, dan kualitas turun setelah ganti prompt) dan tunjukkan bagaimana sistem Anda menanganinya. Tahapan pengerjaan • Kerangka: Target layanan (kualitas, latensi p95, biaya per permintaan), arsitektur operasional, rencana evaluasi, dan analisis biaya awal API vs model sendiri. • Draf: Gerbang evaluasi di CI berjalan, gateway dengan satu cadangan penyedia aktif, dan dasbor dasar. • Revisi: Model terbuka dilayani sendiri dan dibandingkan secara terukur, pemantauan kualitas aktif, dan umpan balik reviewer ditindaklanjuti. • Final: Simulasi dua insiden beserta buktinya, runbook, dan laporan keputusan akhir: apa yang Anda pilih dan berapa biayanya.

    Yang diserahkan: Tautan repositori (konfigurasi CI, gateway, dan infrastruktur sebagai kode), tangkapan dasbor, runbook, dan laporan keputusan maksimal 4 halaman berisi tabel biaya dan latensi.

    Kriteria penilaian

    Lulus mulai 75%
    • Kualitas keputusan operasionalbobot 25% · skor 0–4

      Pilihan API vs model sendiri, cache, dan cadangan dibenarkan dengan angka biaya dan latensi, bukan selera.

    • Gerbang evaluasi yang bermaknabobot 25% · skor 0–4

      Rilis yang menurunkan kualitas benar-benar terblokir; set uji mewakili penggunaan nyata.

    • Ketahanan terhadap kegagalanbobot 20% · skor 0–4

      Insiden yang disimulasikan tertangani sesuai target; degradasi terkendali, tidak mati total.

    • Observabilitasbobot 20% · skor 0–4

      Kualitas, latensi, token, dan biaya terlihat per fitur dan cukup untuk mendiagnosis insiden.

    • Runbook dan dokumentasibobot 10% · skor 0–4

      Runbook bisa diikuti engineer lain yang tidak membangun sistem ini.

Lihat bagaimana kredensial diperiksa

Silabus

Isi materi terbuka setelah Anda terdaftar.

  1. 1Apa yang berbeda saat mengoperasikan aplikasi LLMTeks
  2. 2Evaluasi sebagai gerbang rilis: set uji, LLM-as-judge, dan batasannyaTeks
  3. 3Model serving: menjalankan model terbuka dan mengukur throughputTeks
  4. 4Infrastruktur GPU: memilih, menyewa, dan menghitung biayaTeks
  5. 5Gateway model: cache, batas laju, cadangan penyediaTeks
  6. 6Observabilitas: trace permintaan, token, biaya, dan kualitasTeks
  7. 7Versi prompt dan model sebagai artefak rilisTeks
  8. 8Insiden khas LLM dan runbook-nyaTeks
  9. 9Optimasi biaya: model kecil, cache, dan batchingTeks

Pengajar

Solvera AI & Technology Academy terverifikasi

Tim pengajar Solvera untuk kelas teknologi, AI, data, dan keuangan di Exelern. Setiap kelas ditutup dengan karya nyata yang dinilai reviewer memakai rubrik terbuka, bukan kuis pilihan ganda.

  • AI generatif
  • Rekayasa perangkat lunak
  • Data dan analitik
  • Cloud dan keamanan siber
  • Keuangan dan akuntansi

Pertanyaan yang sering diajukan

Bagaimana karya saya dinilai?
Reviewer bernama memberi skor per kriteria memakai rubrik di bagian Karya & rubrik — rubrik yang sama dengan yang dipakai menilai Anda nanti. Anda lulus bila skor berbobotnya mencapai 75%. Kredensial terbit hanya bila karya final Anda lulus, dan memuat karya, rubrik, serta nama penilainya.
Apakah ada tenggat pengerjaan?
Tidak. Kelas mandiri dimulai kapan saja. Karya dikerjakan bertahap — kerangka, draf, revisi, final — dan setiap tahap dibalas reviewer sebelum Anda lanjut.
Bisakah kantor saya membiayai kelas ini?
Bisa. Panduan klaim biaya ke kantor memuat templat email ke atasan dan bukti yang biasanya diminta: bukti pembayaran dan tautan kredensial yang bisa diperiksa tanpa login.
Apa beda kredensial Exelern dengan sertifikat kehadiran?
Kredensial hanya terbit dari karya yang lulus review, bukan dari jam tayang. Siapa pun bisa memeriksa keabsahannya di halaman verifikasi, lengkap dengan karya, rubrik, dan penilainya.

Untuk tim

Kelas yang sama untuk satu orang, satu tim, atau satu angkatan khusus organisasi Anda.

  • Klaim ke kantor

    Templat email ke atasan dan bukti yang biasanya diminta bagian keuangan.

    Buka panduan
  • Daftarkan tim

    Beberapa orang di kelas ini, dengan kredensial yang bisa Anda periksa satu per satu.

    Ceritakan kebutuhan tim
  • Angkatan privat

    Satu angkatan khusus organisasi Anda, dengan karya yang disesuaikan pekerjaan tim.

    Ajukan angkatan privat

Kelas terkait