LLM Engineer

1. Pengenalan LLM dan kebutuhan bisnis Mempelajari cara kerja dasar LLM, kemampuan dan keterbatasannya, serta identifikasi kebutuhan bisnis yang dapat didukung chatbot. 2. Dasar pemrograman dan penggunaan API Mempelajari Python, HTTP, REST API, JSON, Git, pengelolaan kredensial, serta penggunaan API model LLM.

1. Perancangan prompt dan keluaran terstruktur Mempelajari penyusunan instruksi, pemberian konteks dan contoh, format keluaran, serta pengelolaan versi prompt. 2. Pengelolaan percakapan Mempelajari konteks percakapan beberapa giliran, klarifikasi pertanyaan, respons saat informasi tidak tersedia, dan eskalasi kepada petugas.

1. Pengolahan pengetahuan untuk RAG Mempelajari chunking, embedding, vector search, metadata, dan hubungan antara kualitas dokumen dengan kualitas jawaban. 2. Strategi retrieval dan jawaban berbasis sumber Mempelajari pencarian informasi relevan, penyaringan berdasarkan hak akses, pemilihan konteks, serta penyertaan referensi sumber.

1. Integrasi layanan LLM melalui API Mempelajari kontrak API, pertukaran data, autentikasi, dan pengelolaan konteks untuk integrasi chatbot dengan website maupun aplikasi lain. 2. Tool calling dan akses data bisnis Mempelajari pemanggilan fungsi/API oleh LLM, validasi parameter, pembatasan kewenangan, serta penanganan kegagalan layanan.

1. Evaluasi kualitas chatbot Mempelajari penyusunan dataset uji, jawaban acuan, pengukuran ketepatan jawaban, kesesuaian dengan sumber, kualitas retrieval, dan keberhasilan pemanggilan tools. 2. Keamanan dan keandalan layanan Mempelajari prompt injection, perlindungan data pribadi, pembatasan akses, pengujian kegagalan, dan pencatatan aktivitas untuk penelusuran masalah.

1. Optimasi kualitas, latensi, dan biaya Mempelajari perbandingan konfigurasi model, efisiensi konteks dan token, caching, serta pengukuran dampak perubahan terhadap kualitas jawaban. 2. Pemantauan dan pemeliharaan Mempelajari monitoring layanan, pengujian regresi, pengelolaan versi, pembaruan knowledge base, dokumentasi, serta prosedur serah terima.

1. Pemetaan kebutuhan chatbot Mengidentifikasi pengguna, pertanyaan utama, sumber pengetahuan, aplikasi tujuan, dan batas kemampuan chatbot bersama mentor serta pemilik layanan. 2. Pembuatan prototipe dasar Menyiapkan lingkungan pengembangan dan membuat prototipe pemanggilan API LLM, disertai pencatatan respons serta pengujian pertanyaan awal.

1. Penyusunan prompt berversi Mengembangkan dan membandingkan prompt berdasarkan kebutuhan layanan menggunakan kumpulan pertanyaan uji dan kriteria penilaian yang disepakati. 2. Implementasi alur percakapan Menerapkan percakapan beberapa giliran, klarifikasi, keluaran terstruktur, respons saat informasi tidak tersedia, dan kondisi eskalasi.

1. Pengembangan pencarian pengetahuan Menentukan strategi chunking, embedding, dan retrieval bersama Data Engineer, kemudian menghubungkannya dengan layanan LLM. 2. Pengujian jawaban berbasis sumber Menguji relevansi dokumen, ketepatan jawaban, referensi sumber, dan pembatasan akses; mendokumentasikan hasil untuk perbaikan RAG.

1. Integrasi layanan chatbot Berkolaborasi dengan tim aplikasi untuk menghubungkan layanan LLM ke aplikasi yang ditetapkan, seperti website, aplikasi internal, CRM, Telegram, atau platform omnichannel. 2. Implementasi pemanggilan tools/API Mengembangkan pemanggilan API untuk kebutuhan seperti pencarian informasi atau pengecekan status, termasuk validasi parameter, otorisasi, dan penanganan kegagalan.

1. Pelaksanaan evaluasi chatbot Menyusun dataset evaluasi bersama Data Analyst dan pemilik layanan, memisahkan kasus pengembangan dari pengujian akhir, serta menganalisis penyebab kesalahan. 2. Pengujian keamanan dan integrasi Bersama QA dan Backend Engineer, menguji prompt injection, akses tanpa izin, gangguan layanan, serta eskalasi; memperbaiki dan menguji ulang temuan.

1. Optimasi dan pilot terbatas Mengoptimalkan prompt, retrieval, konfigurasi model, dan penggunaan token berdasarkan hasil evaluasi, lalu memantau kualitas, latensi, serta biaya selama pilot. 2. Dokumentasi dan presentasi hasil Menyusun dokumentasi konfigurasi, hasil pengujian, panduan pemeliharaan, dan rekomendasi pengembangan; mempresentasikan serta menyerahkan hasil kepada tim pengelola.