data quality assessment

Analisis eksploratif satu dataset publik Indonesia dalam notebook Python

Pilih satu dataset publik Indonesia yang cukup besar (minimal ribuan baris). Rumuskan minimal tiga pertanyaan, bersihkan datanya, jawab setiap pertanyaan dengan angka dan grafik, lalu tulis temuan beserta batasannya. Tahapan pengerjaan • Kerangka: Dataset yang dipilih beserta sumber dan alasannya, tiga pertanyaan, dan rencana analisis. • Draf: Notebook pembersihan data dan analisis awal untuk ketiga pertanyaan. • Revisi: Perbaikan analisis sesuai umpan balik reviewer, ditambah visualisasi yang tepat. • Final: Notebook final yang berjalan dari awal sampai akhir, dan laporan temuan.

Yang diserahkan: Notebook yang bisa dijalankan ulang dari awal tanpa galat, berkas data atau tautan sumbernya, dan laporan temuan maksimal 2 halaman.

• Kebenaran kode dan pembersihan databobot 30% · skor 0–4

  Kode berjalan, dan langkah pembersihan tepat serta terdokumentasi.

• Ketepatan analisisbobot 25% · skor 0–4

  Angka dan perbandingan menjawab pertanyaan yang diajukan.

• Visualisasibobot 20% · skor 0–4

  Jenis grafik cocok dengan pertanyaan, berlabel jelas, dan tidak menyesatkan.

• Kejujuran temuanbobot 15% · skor 0–4

  Batasan data dan hal yang tidak bisa disimpulkan dinyatakan terbuka.

• Bisa diulangbobot 10% · skor 0–4

  Orang lain bisa menjalankan notebook dan mendapat hasil yang sama.

Pipeline ELT tiga sumber dengan pemeriksaan kualitas data dan keluaran siap-AI

Bangun pipeline untuk satu kasus bisnis dengan minimal tiga sumber data (API, berkas, dan basis data). Muat ke gudang data berlapis, tegakkan aturan kualitas, dan hasilkan satu keluaran siap-AI. Dataset publik atau dataset sintetis yang realistis boleh dipakai; dataset contoh disediakan bagi yang belum punya. Tahapan pengerjaan • Kerangka: Kasus bisnis, daftar sumber beserta contoh datanya, diagram lapisan data, rancangan model dimensional, dan daftar aturan kualitas data. • Draf: Pipeline berjalan ujung ke ujung untuk dua sumber, transformasi utama selesai, dan jadwal berjalan. • Revisi: Ketiga sumber masuk, pemeriksaan kualitas otomatis aktif, pemuatan ulang terbukti idempoten, dan umpan balik reviewer ditindaklanjuti. • Final: Keluaran siap-AI, dokumentasi lineage data, dan demo satu insiden kualitas data yang tertangkap oleh pemeriksaan Anda.

Yang diserahkan: Tautan repositori Git (docker compose untuk menjalankan semuanya), diagram arsitektur dan lineage, laporan kualitas data, serta video demo maksimal 5 menit.

• Ketepatan pemodelan databobot 25% · skor 0–4

  Model gudang data menjawab kebutuhan bisnis yang ditetapkan; grain tabel jelas dan konsisten.

• Keandalan pipelinebobot 25% · skor 0–4

  Pipeline idempoten, bisa dijalankan ulang tanpa duplikasi, dan kegagalan terlihat (tidak diam-diam).

• Kualitas databobot 25% · skor 0–4

  Aturan kualitas bermakna, diuji otomatis, dan data buruk dikarantina alih-alih diloloskan.

• Kesiapan untuk AIbobot 15% · skor 0–4

  Keluaran untuk aplikasi AI bersih, berpotongan masuk akal, dan membawa metadata yang dibutuhkan.

• Dokumentasi dan reprodusibilitasbobot 10% · skor 0–4

  Orang lain bisa menjalankan pipeline dari README; lineage terdokumentasi.