Data Engineer pada Pusat Data dan Informasi

Memahami arsitektur data platform instansi (sumber data, ETL/ELT, data warehouse/lake), prinsip data governance, serta konsep metadata, katalog data, glossary, dan data lineage sebagai landasan pekerjaan data engineer.

Mempelajari arsitektur OpenMetadata, komponen utama (ingestion, metadata store, search, UI), konsep glossary, tag, ownership, dan data lineage.

Memahami standar kelengkapan metadata (deskripsi, pemilik data, klasifikasi, glossary term) serta indikator untuk mengukur kualitas serta cakupan katalog data.

Mempelajari konsep API management, spesifikasi API (OpenAPI/Swagger), peran KSB dalam integrasi layanan, serta dasar LLM, prompt engineering, dan batasan penggunaan LLM (akurasi, halusinasi, keamanan data).

Memahami konsep MDM, identifikasi master data, standardisasi, deduplikasi, golden record, serta dimensi kualitas data (akurasi, kelengkapan, konsistensi, keunikan).

Mempelajari konsep SSBI, pemodelan data untuk analitik (data mart, star schema), serta bagaimana katalog data dan metadata berkualitas membantu pengguna menemukan dan memanfaatkan data secara mandiri.

Praktik pemrograman Python (pandas, requests, scripting terjadwal) dan SQL tingkat menengah (JOIN, window function, CTE, optimasi query) untuk mengekstrak, mentransformasi, dan memvalidasi data dari berbagai sumber.

Praktik memelihara platform OpenMetadata, mengonfigurasi dan menjadwalkan ingestion metadata dari berbagai sumber, memantau kegagalan pipeline ingestion, serta melakukan troubleshooting dan pembaruan konfigurasi.

Praktik memperkaya katalog data (deskripsi, tag, glossary, owner, klasifikasi) secara manual dan otomatis (bulk update) menggunakan Python dan API OpenMetadata, serta memvalidasi hasil bersama pemilik data.

Praktik membangun alur semi-otomatis untuk memperkaya katalog API KSB (deskripsi endpoint, parameter, contoh penggunaan, kategori) dengan LLM, disertai langkah verifikasi dan kontrol kualitas keluaran.

Praktik melakukan profiling, pembersihan, standardisasi, dan harmonisasi master data menggunakan Python dan SQL, serta menetapkan dan mendokumentasikan aturan data quality, termasuk integrasinya dengan fitur data quality di OpenMetadata.

Peserta menyusun proyek akhir berupa pipeline end-to-end yang mencakup ingestion dan enrichment metadata di OpenMetadata, pengayaan katalog API KSB berbantuan LLM, penerapan aturan master data dan data quality, serta penyiapan katalog dan dataset terkurasi untuk mendukung pengembangan SSBI, lengkap dengan dokumentasi teknis dan panduan penggunaan.