natural language processing

Modul 1 · Prototipe interaktif satu fitur AI beserta keadaan gagal dan hasil uji pengguna

Pilih satu alur di aplikasi yang Anda kenal dan rancang ulang dengan fitur AI. Prototipe wajib menampilkan empat keadaan: AI sedang memproses, AI yakin, AI ragu, dan AI salah lalu dikoreksi pengguna. Uji kepada minimal 3 orang dan perbaiki. Tahapan pengerjaan • Kerangka: Alur yang dipilih, masalah pengguna, dan sketsa kasar. • Draf: Prototipe interaktif dengan keempat keadaan. • Revisi: Perbaikan setelah uji dengan minimal 3 pengguna dan umpan balik reviewer. • Final: Prototipe akhir dan studi kasus singkat yang menjelaskan alasan desain.

Yang diserahkan: Tautan prototipe interaktif, studi kasus maksimal 6 halaman atau slide, dan catatan uji pengguna.

• Penanganan ketidakpastian dan kesalahanbobot 30% · skor 0–4

  Keempat keadaan dirancang dengan jelas dan pengguna selalu tahu apa yang terjadi.

• Kendali penggunabobot 25% · skor 0–4

  Pengguna bisa mengoreksi, membatalkan, dan tidak terjebak oleh AI.

• Kejelasan alur dan teksbobot 20% · skor 0–4

  Alur mudah diikuti dan teks antarmuka jelas.

• Uji dan iterasibobot 15% · skor 0–4

  Temuan uji pengguna benar-benar mengubah desain.

• Aksesibilitasbobot 10% · skor 0–4

  Kontras, ukuran target sentuh, dan keterbacaan diperhatikan.

Modul 2 · Spesifikasi, prototipe, dan uji pengguna untuk satu fitur AI

Pilih satu produk dan satu kelompok pengguna. Temukan masalah yang layak diselesaikan dengan AI, rancang fiturnya, buat prototipe, dan uji dengan minimal 5 pengguna nyata. Bila temuan Anda menunjukkan AI bukan solusi yang tepat, laporan yang membuktikannya tetap bisa lulus. Tahapan pengerjaan • Kerangka: Produk, kelompok pengguna, hipotesis masalah, dan rencana riset. • Draf: Temuan riset dari minimal 5 wawancara, spesifikasi fitur termasuk perilaku gagal, dan prototipe awal. • Revisi: Prototipe diperbaiki dan diuji dengan minimal 5 pengguna; umpan balik reviewer ditindaklanjuti. • Final: Rekomendasi bangun atau tidak, rencana metrik, kasus bisnis, dan rencana peluncuran.

Yang diserahkan: Dokumen produk maksimal 8 halaman (riset, spesifikasi, hasil uji, kasus bisnis), tautan prototipe, dan rekaman atau catatan sesi uji pengguna yang sudah dianonimkan.

• Ketepatan masalahbobot 25% · skor 0–4

  Masalah didukung bukti dari pengguna dan kecocokannya dengan AI dinilai secara jujur.

• Spesifikasi dan perilaku gagalbobot 25% · skor 0–4

  Spesifikasi jelas dan menangani saat AI salah, ragu, atau lambat.

• Kualitas uji penggunabobot 25% · skor 0–4

  Uji dirancang untuk membuktikan nilai, bukan sekadar mengonfirmasi; temuan dibaca jujur.

• Metrik dan kasus bisnisbobot 15% · skor 0–4

  Metrik terhubung ke nilai pengguna dan biaya AI dihitung.

• Kejelasan rekomendasibobot 10% · skor 0–4

  Rekomendasi tegas dan didukung bukti yang dikumpulkan.

Modul 3 · Agen riset prospek multi-langkah dengan persetujuan manusia dan laporan evaluasi

Bangun agen yang menerima daftar nama perusahaan sasaran, meriset masing-masing dari sumber publik, memperkaya datanya, memberi skor kecocokan berdasarkan profil pelanggan ideal yang Anda tetapkan, mencatat hasilnya ke CRM (boleh CRM tiruan atau spreadsheet lewat API), dan menyiapkan draf pesan tindak lanjut yang baru terkirim setelah disetujui manusia. Anda wajib menjelaskan setiap keputusan rancangan dan alternatif yang Anda tolak. Tahapan pengerjaan • Kerangka: Profil pelanggan ideal, daftar alat beserta skemanya, diagram alur agen, titik persetujuan manusia, dan dokumen keputusan: kenapa agen (bukan alur kerja biasa), batas langkah, dan risiko yang Anda antisipasi. • Draf: Agen berjalan untuk 10 perusahaan dengan log langkah yang bisa dibaca. Set tugas evaluasi minimal 20 kasus, termasuk halaman web yang sengaja berisi instruksi jahat. • Revisi: Perbaikan berdasarkan kegagalan yang ditemukan di evaluasi dan umpan balik reviewer. Laporkan tingkat keberhasilan dan biaya per tugas sebelum dan sesudah. • Final: Repositori, video demo maksimal 7 menit yang menunjukkan satu persetujuan dan satu penolakan oleh manusia, serta laporan akhir yang memuat trade-off yang Anda pilih.

Yang diserahkan: Tautan repositori Git, dokumen keputusan arsitektur maksimal 3 halaman, laporan evaluasi berisi tingkat keberhasilan, biaya per tugas, dan katalog kegagalan, serta tautan video demo maksimal 7 menit.

• Ketepatan keputusan arsitekturbobot 25% · skor 0–4

  Pilihan agen vs alur kerja, batas langkah, memori, dan pembagian alat dibenarkan dengan alasan yang sesuai masalah, dan alternatif yang ditolak disebutkan.

• Kendali dan persetujuan manusiabobot 20% · skor 0–4

  Tidak ada aksi keluar (kirim pesan, ubah CRM) tanpa persetujuan di titik berisiko; persetujuan mudah dilakukan dan tercatat.

• Keamanan terhadap masukan yang tidak dipercayabobot 20% · skor 0–4

  Agen tahan terhadap instruksi jahat dalam data yang dibacanya; izin alat dibatasi seperlunya.

• Evaluasi dan perbaikan terukurbobot 20% · skor 0–4

  Set tugas representatif, angka keberhasilan dan biaya dilaporkan jujur, dan perbaikan antar-tahap terlihat.

• Keterauditan dan kerapianbobot 15% · skor 0–4

  Setiap langkah agen bisa ditelusuri dari log, kode bisa dijalankan orang lain, rahasia tidak ada di repositori.

Modul 2 · Model ML untuk satu masalah berbasis data Indonesia dengan analisis kesalahan dan kartu model

Pilih satu masalah dan dataset (daftar dataset publik Indonesia disediakan). Bangun model, bandingkan dengan pembanding sederhana, analisis di mana model gagal, dan tulis kartu model. Akurasi tinggi tanpa analisis tidak lulus; akurasi biasa dengan analisis jujur bisa lulus. Tahapan pengerjaan • Kerangka: Rumusan masalah, metrik yang dipilih beserta alasannya, eksplorasi data, dan rencana pembagian data. • Draf: Pembanding sederhana dan minimal dua model, dievaluasi pada data uji yang sama. • Revisi: Perbaikan berdasarkan umpan balik reviewer, analisis kesalahan per segmen, dan pemeriksaan kebocoran data. • Final: Kartu model, notebook yang bisa dijalankan ulang, dan ringkasan satu halaman untuk pembaca non-teknis.

Yang diserahkan: Tautan notebook atau repositori yang bisa dijalankan ulang, kartu model (format disediakan), dan ringkasan eksekutif satu halaman.

• Rumusan masalah dan metrikbobot 20% · skor 0–4

  Metrik sesuai biaya kesalahan di dunia nyata, bukan sekadar akurasi.

• Metodologi yang benarbobot 30% · skor 0–4

  Pembagian data benar, tidak ada kebocoran, dan perbandingan model adil terhadap pembanding.

• Analisis kesalahanbobot 25% · skor 0–4

  Kegagalan model dianalisis per segmen dan potensi bias diidentifikasi.

• Komunikasi dan kartu modelbobot 15% · skor 0–4

  Kartu model jujur tentang batasan; ringkasan bisa dipahami pengambil keputusan.

• Reprodusibilitasbobot 10% · skor 0–4

  Hasil bisa diulang dari notebook atau repositori yang diserahkan.

Modul 1 · Analisis eksploratif satu dataset publik Indonesia dalam notebook Python

Pilih satu dataset publik Indonesia yang cukup besar (minimal ribuan baris). Rumuskan minimal tiga pertanyaan, bersihkan datanya, jawab setiap pertanyaan dengan angka dan grafik, lalu tulis temuan beserta batasannya. Tahapan pengerjaan • Kerangka: Dataset yang dipilih beserta sumber dan alasannya, tiga pertanyaan, dan rencana analisis. • Draf: Notebook pembersihan data dan analisis awal untuk ketiga pertanyaan. • Revisi: Perbaikan analisis sesuai umpan balik reviewer, ditambah visualisasi yang tepat. • Final: Notebook final yang berjalan dari awal sampai akhir, dan laporan temuan.

Yang diserahkan: Notebook yang bisa dijalankan ulang dari awal tanpa galat, berkas data atau tautan sumbernya, dan laporan temuan maksimal 2 halaman.

• Kebenaran kode dan pembersihan databobot 30% · skor 0–4

  Kode berjalan, dan langkah pembersihan tepat serta terdokumentasi.

• Ketepatan analisisbobot 25% · skor 0–4

  Angka dan perbandingan menjawab pertanyaan yang diajukan.

• Visualisasibobot 20% · skor 0–4

  Jenis grafik cocok dengan pertanyaan, berlabel jelas, dan tidak menyesatkan.

• Kejujuran temuanbobot 15% · skor 0–4

  Batasan data dan hal yang tidak bisa disimpulkan dinyatakan terbuka.

• Bisa diulangbobot 10% · skor 0–4

  Orang lain bisa menjalankan notebook dan mendapat hasil yang sama.

Modul 3 · Asisten pengetahuan RAG untuk satu kumpulan dokumen nyata, lengkap dengan set uji

Pilih satu kumpulan dokumen nyata yang boleh Anda pakai (minimal 30 dokumen, boleh dokumen publik seperti peraturan atau dokumentasi produk open source). Bangun asisten tanya-jawab di atasnya dan buktikan kualitasnya dengan angka. Tahapan pengerjaan • Kerangka: Dokumen yang dipilih dan alasannya, 20 pertanyaan uji beserta jawaban yang benar (termasuk minimal 5 pertanyaan yang jawabannya TIDAK ada di dokumen), dan rancangan arsitektur satu halaman. • Draf: Pipeline berjalan ujung ke ujung: ingest, embedding, pengambilan, jawaban dengan kutipan. Hasil pertama terhadap 20 pertanyaan uji. • Revisi: Perbaikan berdasarkan umpan balik reviewer dan hasil uji: strategi chunking, pengambilan gabungan, atau prompt. Tunjukkan angka sebelum dan sesudah. • Final: Repositori lengkap, video demo maksimal 5 menit, dan laporan evaluasi akhir termasuk satu skenario pembatasan akses dokumen.

Yang diserahkan: Tautan repositori Git (README berisi cara menjalankan), laporan evaluasi PDF maksimal 4 halaman berisi tabel hasil 20 pertanyaan uji, dan tautan video demo maksimal 5 menit.

• Ketepatan dan pembumian jawabanbobot 30% · skor 0–4

  Jawaban benar menurut dokumen, setiap klaim punya kutipan sumber yang bisa dicek, dan pertanyaan di luar dokumen dijawab 'tidak ditemukan' alih-alih dikarang.

• Kualitas pengambilanbobot 25% · skor 0–4

  Strategi chunking dan pengambilan dipilih dengan alasan, dan perbaikannya terukur antara draf dan final.

• Evaluasi yang jujurbobot 20% · skor 0–4

  Set uji mencakup kasus sulit dan kasus tanpa jawaban; angka dilaporkan apa adanya termasuk kegagalan.

• Keamanan akses dokumenbobot 15% · skor 0–4

  Pengguna tidak bisa mendapatkan isi dokumen yang bukan haknya lewat pertanyaan apa pun yang diuji.

• Kerapian rekayasabobot 10% · skor 0–4

  Kode bisa dijalankan orang lain dari README, kunci API tidak ada di repositori, biaya per pertanyaan diperkirakan.

Modul 5 · Sistem deteksi objek di perangkat untuk satu kasus nyata, dengan pengukuran kinerja

Pilih satu kasus deteksi objek yang nyata. Kumpulkan atau pilih dataset, latih ulang model, kecilkan ukurannya, lalu jalankan di perangkat. Laporkan perbandingan sebelum dan sesudah pengecilan: ukuran, kecepatan, dan akurasi. Tahapan pengerjaan • Kerangka: Kasus yang dipilih, perangkat sasaran, target kinerja, dan rencana dataset. • Draf: Model terlatih ulang dan berjalan di laptop dengan pengukuran awal. • Revisi: Model dikecilkan dan dijalankan di perangkat sasaran, alur aksi berjalan, dan umpan balik reviewer ditindaklanjuti. • Final: Video demo di perangkat dan laporan kinerja lengkap.

Yang diserahkan: Tautan repositori (kode, konfigurasi, dan cara menjalankan), laporan kinerja maksimal 4 halaman, dan video demo maksimal 5 menit.

• Kesesuaian dengan batasan perangkatbobot 25% · skor 0–4

  Pilihan model dan pengecilan sesuai dengan perangkat dan target kinerja yang ditetapkan.

• Akurasi pada kasus nyatabobot 25% · skor 0–4

  Akurasi diukur pada data uji yang mewakili kondisi nyata.

• Pengukuran kinerjabobot 25% · skor 0–4

  Ukuran, kecepatan, dan sumber daya diukur dengan benar sebelum dan sesudah pengecilan.

• Sistem utuhbobot 15% · skor 0–4

  Alur kamera sampai aksi berjalan dan menangani kegagalan seperti kamera terputus.

• Reprodusibilitasbobot 10% · skor 0–4

  Orang lain bisa menjalankan ulang dari repositori.

Modul 4 · Satu alur otomasi berbantuan AI untuk proses kerja nyata, lengkap dengan perhitungan hemat waktu

Pilih satu proses berulang yang Anda atau tim Anda kerjakan setiap minggu. Petakan prosesnya, otomatiskan dengan alat low-code dan AI, lalu jalankan selama minimal satu minggu dengan data nyata atau data contoh yang realistis. Hitung waktu yang dihemat. Data pelanggan yang asli harus disamarkan dalam bukti yang Anda serahkan. Tahapan pengerjaan • Kerangka: Peta proses saat ini (langkah, pelaku, waktu per langkah) dan bagian yang akan diotomatiskan beserta alasannya. • Draf: Alur otomasi berjalan untuk kasus normal. • Revisi: Kasus meragukan ditangani dengan pengecekan manusia, kegagalan tertangani, dan umpan balik reviewer ditindaklanjuti. • Final: Hasil satu minggu berjalan, perhitungan hemat waktu dan biaya, dan panduan singkat bagi rekan kerja.

Yang diserahkan: Tangkapan layar atau ekspor alur otomasi, peta proses sebelum dan sesudah, rekaman demo maksimal 5 menit, dan laporan satu halaman berisi hemat waktu dan biaya.

• Pemilihan dan pemetaan prosesbobot 25% · skor 0–4

  Proses dipetakan dengan jelas dan bagian yang diotomatiskan memang layak.

• Otomasi berjalanbobot 30% · skor 0–4

  Alur berjalan dengan data nyata atau realistis dan kasus normal terselesaikan tanpa campur tangan.

• Penanganan kasus meragukanbobot 25% · skor 0–4

  AI berhenti dan meminta pengecekan manusia saat ragu; kegagalan tidak hilang diam-diam.

• Dampak terukurbobot 20% · skor 0–4

  Hemat waktu dan biaya dihitung dengan jujur.

Modul 6 · Lapisan operasional produksi untuk satu aplikasi LLM: gerbang evaluasi, gateway, pemantauan, dan runbook

Ambil satu aplikasi LLM yang sudah berjalan dan siapkan untuk produksi. Anda menentukan sendiri target kualitas, latensi, dan biaya, lalu membuktikan sistem Anda menegakkannya. Simulasikan minimal dua insiden (penyedia model mati, dan kualitas turun setelah ganti prompt) dan tunjukkan bagaimana sistem Anda menanganinya. Tahapan pengerjaan • Kerangka: Target layanan (kualitas, latensi p95, biaya per permintaan), arsitektur operasional, rencana evaluasi, dan analisis biaya awal API vs model sendiri. • Draf: Gerbang evaluasi di CI berjalan, gateway dengan satu cadangan penyedia aktif, dan dasbor dasar. • Revisi: Model terbuka dilayani sendiri dan dibandingkan secara terukur, pemantauan kualitas aktif, dan umpan balik reviewer ditindaklanjuti. • Final: Simulasi dua insiden beserta buktinya, runbook, dan laporan keputusan akhir: apa yang Anda pilih dan berapa biayanya.

Yang diserahkan: Tautan repositori (konfigurasi CI, gateway, dan infrastruktur sebagai kode), tangkapan dasbor, runbook, dan laporan keputusan maksimal 4 halaman berisi tabel biaya dan latensi.

• Kualitas keputusan operasionalbobot 25% · skor 0–4

  Pilihan API vs model sendiri, cache, dan cadangan dibenarkan dengan angka biaya dan latensi, bukan selera.

• Gerbang evaluasi yang bermaknabobot 25% · skor 0–4

  Rilis yang menurunkan kualitas benar-benar terblokir; set uji mewakili penggunaan nyata.

• Ketahanan terhadap kegagalanbobot 20% · skor 0–4

  Insiden yang disimulasikan tertangani sesuai target; degradasi terkendali, tidak mati total.

• Observabilitasbobot 20% · skor 0–4

  Kualitas, latensi, token, dan biaya terlihat per fitur dan cukup untuk mendiagnosis insiden.

• Runbook dan dokumentasibobot 10% · skor 0–4

  Runbook bisa diikuti engineer lain yang tidak membangun sistem ini.

Model ML untuk satu masalah berbasis data Indonesia dengan analisis kesalahan dan kartu model

Pilih satu masalah dan dataset (daftar dataset publik Indonesia disediakan). Bangun model, bandingkan dengan pembanding sederhana, analisis di mana model gagal, dan tulis kartu model. Akurasi tinggi tanpa analisis tidak lulus; akurasi biasa dengan analisis jujur bisa lulus. Tahapan pengerjaan • Kerangka: Rumusan masalah, metrik yang dipilih beserta alasannya, eksplorasi data, dan rencana pembagian data. • Draf: Pembanding sederhana dan minimal dua model, dievaluasi pada data uji yang sama. • Revisi: Perbaikan berdasarkan umpan balik reviewer, analisis kesalahan per segmen, dan pemeriksaan kebocoran data. • Final: Kartu model, notebook yang bisa dijalankan ulang, dan ringkasan satu halaman untuk pembaca non-teknis.

Yang diserahkan: Tautan notebook atau repositori yang bisa dijalankan ulang, kartu model (format disediakan), dan ringkasan eksekutif satu halaman.

• Rumusan masalah dan metrikbobot 20% · skor 0–4

  Metrik sesuai biaya kesalahan di dunia nyata, bukan sekadar akurasi.

• Metodologi yang benarbobot 30% · skor 0–4

  Pembagian data benar, tidak ada kebocoran, dan perbandingan model adil terhadap pembanding.

• Analisis kesalahanbobot 25% · skor 0–4

  Kegagalan model dianalisis per segmen dan potensi bias diidentifikasi.

• Komunikasi dan kartu modelbobot 15% · skor 0–4

  Kartu model jujur tentang batasan; ringkasan bisa dipahami pengambil keputusan.

• Reprodusibilitasbobot 10% · skor 0–4

  Hasil bisa diulang dari notebook atau repositori yang diserahkan.

Agen riset prospek multi-langkah dengan persetujuan manusia dan laporan evaluasi

Bangun agen yang menerima daftar nama perusahaan sasaran, meriset masing-masing dari sumber publik, memperkaya datanya, memberi skor kecocokan berdasarkan profil pelanggan ideal yang Anda tetapkan, mencatat hasilnya ke CRM (boleh CRM tiruan atau spreadsheet lewat API), dan menyiapkan draf pesan tindak lanjut yang baru terkirim setelah disetujui manusia. Anda wajib menjelaskan setiap keputusan rancangan dan alternatif yang Anda tolak. Tahapan pengerjaan • Kerangka: Profil pelanggan ideal, daftar alat beserta skemanya, diagram alur agen, titik persetujuan manusia, dan dokumen keputusan: kenapa agen (bukan alur kerja biasa), batas langkah, dan risiko yang Anda antisipasi. • Draf: Agen berjalan untuk 10 perusahaan dengan log langkah yang bisa dibaca. Set tugas evaluasi minimal 20 kasus, termasuk halaman web yang sengaja berisi instruksi jahat. • Revisi: Perbaikan berdasarkan kegagalan yang ditemukan di evaluasi dan umpan balik reviewer. Laporkan tingkat keberhasilan dan biaya per tugas sebelum dan sesudah. • Final: Repositori, video demo maksimal 7 menit yang menunjukkan satu persetujuan dan satu penolakan oleh manusia, serta laporan akhir yang memuat trade-off yang Anda pilih.

Yang diserahkan: Tautan repositori Git, dokumen keputusan arsitektur maksimal 3 halaman, laporan evaluasi berisi tingkat keberhasilan, biaya per tugas, dan katalog kegagalan, serta tautan video demo maksimal 7 menit.

• Ketepatan keputusan arsitekturbobot 25% · skor 0–4

  Pilihan agen vs alur kerja, batas langkah, memori, dan pembagian alat dibenarkan dengan alasan yang sesuai masalah, dan alternatif yang ditolak disebutkan.

• Kendali dan persetujuan manusiabobot 20% · skor 0–4

  Tidak ada aksi keluar (kirim pesan, ubah CRM) tanpa persetujuan di titik berisiko; persetujuan mudah dilakukan dan tercatat.

• Keamanan terhadap masukan yang tidak dipercayabobot 20% · skor 0–4

  Agen tahan terhadap instruksi jahat dalam data yang dibacanya; izin alat dibatasi seperlunya.

• Evaluasi dan perbaikan terukurbobot 20% · skor 0–4

  Set tugas representatif, angka keberhasilan dan biaya dilaporkan jujur, dan perbaikan antar-tahap terlihat.

• Keterauditan dan kerapianbobot 15% · skor 0–4

  Setiap langkah agen bisa ditelusuri dari log, kode bisa dijalankan orang lain, rahasia tidak ada di repositori.