Data Engineer 2

1. Arsitektur dan alur data Mempelajari hubungan sumber operasional, master data, data warehouse, dataset terkurasi, dan dashboard serta peran SSOT. 2. Dasar pengolahan data Mempelajari SQL, Python, database relasional, Git, dan pengelolaan kredensial untuk pengembangan pipeline.

1. Pengambilan data dari berbagai sumber Mempelajari integrasi melalui database, API, dan file, termasuk pengambilan penuh maupun bertahap. 2. Pembersihan dan transformasi Mempelajari normalisasi format, pemetaan atribut, penanganan nilai kosong, duplikasi, dan pencatatan hasil pemrosesan.

1. Pemodelan untuk reporting dan analisis Mempelajari granularitas data, tabel fakta dan dimensi, relasi, serta penerapan definisi metrik yang disepakati bisnis. 2. Pengelolaan master data dan SSOT Mempelajari ID master, pemetaan antarsumber, pencocokan rekaman, aturan pemilihan nilai utama, serta persetujuan dan riwayat perubahan.

1. Orchestration dan keandalan pipeline Mempelajari penjadwalan, dependensi, retry, pemrosesan ulang tanpa duplikasi, dan pemulihan kegagalan. 2. Penyediaan dataset terkurasi Mempelajari tabel, view, kontrak data, dan jadwal pembaruan untuk dashboard, analisis, serta konsumsi aplikasi melalui API.

1. Pengujian dan rekonsiliasi Mempelajari pemeriksaan kelengkapan, keunikan, validitas, konsistensi, kesegaran, dan kesesuaian data dengan sumber. 2. Akses dan keterlacakan data Mempelajari pembatasan akses, perlindungan data sensitif, metadata, lineage, dan pencatatan perubahan.

1. Optimasi pemrosesan data Mempelajari efisiensi query, indexing, partisi, strategi pembaruan, serta pemantauan waktu dan biaya pemrosesan. 2. Pemeliharaan dan serah terima Mempelajari monitoring, penanganan insiden, perubahan skema sumber, dokumentasi, dan prosedur operasional pipeline.

1. Inventarisasi kebutuhan data Memetakan sumber, pemilik, struktur, frekuensi pembaruan, dan kebutuhan reporting bersama Data Analyst serta pengguna bisnis. 2. Profiling data awal Menggunakan SQL dan Python untuk mengidentifikasi nilai kosong, duplikasi, inkonsistensi format, serta hubungan antartabel sebagai baseline kualitas.

1. Implementasi ingestion Membangun pipeline pengambilan data dari sumber yang ditetapkan ke area penampungan awal, disertai pencatatan proses dan kegagalan. 2. Implementasi transformasi Menerapkan pembersihan, standardisasi, dan pemetaan atribut serta membandingkan hasil pengolahan dengan data sumber.

1. Implementasi master data Membangun ID master, pemetaan antarsumber, serta golden record berdasarkan aturan yang disetujui; menyiapkan kasus ambigu untuk review pemilik data. 2. Pengembangan model reporting Menyiapkan tabel fakta, dimensi, atau struktur terkurasi sesuai kebutuhan dashboard serta memvalidasi perhitungan bersama Data Analyst.

1. Penjadwalan dan pemrosesan ulang Mengotomatisasi pipeline, mengatur dependensi dan retry, serta menguji pembaruan bertahap dan pemulihan tanpa menghasilkan duplikasi. 2. Publikasi data terkurasi Menyiapkan tabel atau view beserta kontrak data untuk reporting, analisis, atau tim pengembang API, termasuk definisi kolom dan jadwal pembaruan.

1. Implementasi pemeriksaan kualitas Membuat pemeriksaan otomatis dan rekonsiliasi terhadap sumber, kemudian mencatat serta menindaklanjuti masalah bersama pemilik data. 2. Validasi akses dan keterlacakan Menerapkan akses sesuai kewenangan serta mendokumentasikan sumber, transformasi, dan riwayat perubahan untuk mendukung audit serta penelusuran masalah.

1. Optimasi dan pengujian operasional Mengoptimalkan query serta pipeline, memantau kesegaran data, dan menguji respons terhadap kegagalan proses atau perubahan skema sumber. 2. Dokumentasi dan presentasi hasil Menyusun dokumentasi model, pemetaan sumber, aturan kualitas, serta panduan pemulihan; mempresentasikan dan menyerahkan hasil kepada tim pengelola.