Data Engineer

1. Arsitektur data aplikasi AI Mempelajari alur data dari sumber menuju knowledge base, vector store, dataset evaluasi, dan penyimpanan log serta pembagian tanggung jawab antarrole. 2. Dasar pengolahan dan integrasi data Mempelajari Python, SQL, Git, REST API, JSON, database, penyimpanan file, dan pengelolaan kredensial.

1. Integrasi berbagai sumber data Mempelajari pengambilan data melalui API, database, dan penyimpanan dokumen, termasuk pagination, pembaruan bertahap, retry, dan pencatatan kegagalan. 2. Ekstraksi dan pembersihan konten Mempelajari ekstraksi teks dari PDF, dokumen, dan halaman web, termasuk dasar OCR, normalisasi format, deduplikasi, dan validasi hasil ekstraksi.

1. Struktur dokumen dan metadata Mempelajari segmentasi dokumen, chunking, ID dokumen, referensi sumber, versi, masa berlaku, dan metadata hak akses. 2. Embedding dan vector store Mempelajari dasar embedding, vector database, indexing, serta proses penambahan, pembaruan, dan penghapusan konten bersama LLM Engineer.

1. Penjadwalan dan keandalan pipeline Mempelajari orchestration, dependensi proses, pemrosesan ulang yang aman, retry, serta pemulihan pipeline. 2. Sinkronisasi dan siklus hidup data Mempelajari deteksi perubahan, pengelolaan versi, penghapusan konten kedaluwarsa, dan konsistensi antara sumber, penyimpanan dokumen, serta index.

1. Pengolahan log dan feedback Mempelajari struktur data percakapan, metadata pemanggilan model/tools, feedback pengguna, dan penyiapan data untuk analisis layanan. 2. Dataset evaluasi dan perlindungan data Mempelajari validasi dataset, pemisahan data pengembangan dan pengujian, pembatasan akses, penyamaran data pribadi, serta kebijakan retensi.

1. Pemantauan kualitas dan performa data Mempelajari pengukuran kelengkapan, kesegaran, keberhasilan indexing, waktu pemrosesan, dan biaya pipeline. 2. Operasional dan serah terima Mempelajari dokumentasi alur data, penelusuran sumber, penanganan insiden, pengujian pemulihan, dan prosedur pemeliharaan.

1. Inventarisasi kebutuhan data AI Memetakan sumber dokumen, format, pemilik, frekuensi pembaruan, dan hak akses bersama mentor serta tim pengembang aplikasi. 2. Pembuatan pipeline sederhana Menyiapkan lingkungan pengembangan dan membuat pipeline pengambilan data dari satu sumber ke penyimpanan yang ditetapkan, disertai validasi dasar.

1. Integrasi sumber data Mengembangkan konektor API, database, atau penyimpanan file sesuai kebutuhan, termasuk penanganan pagination, kegagalan, dan pencatatan proses. 2. Pengolahan dokumen Mengimplementasikan ekstraksi teks, pembersihan, dan deduplikasi serta memeriksa hasilnya menggunakan sampel dokumen yang representatif.

1. Pembentukan data siap RAG Mengimplementasikan chunking berdasarkan strategi yang disepakati LLM Engineer serta menambahkan ID, sumber, versi, dan metadata akses. 2. Pembangunan proses indexing Menjalankan embedding dan indexing ke vector store, kemudian memverifikasi kelengkapan, keterlacakan sumber, dan kesesuaian metadata bersama LLM Engineer.

1. Penjadwalan dan pemulihan pipeline Mengotomatisasi ingestion dan indexing, termasuk retry, notifikasi kegagalan, serta pengujian pemrosesan ulang tanpa menghasilkan duplikasi. 2. Sinkronisasi perubahan konten Mengimplementasikan pembaruan dan penghapusan dokumen beserta index terkait, termasuk perubahan versi, masa berlaku, dan hak akses.

1. Pipeline log dan feedback aplikasi Bersama Backend Engineer, mengolah log dan feedback dari aplikasi yang ditetapkan menjadi dataset terstruktur untuk kebutuhan Data Analyst dan LLM Engineer. 2. Pengelolaan dataset evaluasi Menyiapkan penyimpanan, validasi, dan versi dataset evaluasi serta menerapkan pemisahan data uji, penyamaran data pribadi, dan pembatasan akses.

1. Monitoring dan pengujian operasional Membuat pemantauan kualitas dan kesegaran data, mengoptimalkan pemrosesan, serta menguji pemulihan saat sumber atau pipeline mengalami gangguan. 2. Dokumentasi dan presentasi hasil Menyusun dokumentasi sumber, skema, dependensi, konfigurasi, serta panduan operasional; mempresentasikan dan menyerahkan hasil kepada tim pengelola.