Modul 10: Produksi: Infra, Etika & Capstone

Ke produksi, pertanyaan berubah dari 'apakah modelnya pintar?' menjadi 'apakah sistemnya andal?'. Komponennya: gateway (auth, rate limit, routing model), evaluasi berkelanjutan (regression suite sebelum rilis), observability (trace, token, biaya per permintaan), dan rencana rollback.

Biaya = token masukan + keluaran + embedding + retrieval + pemanggilan alat + infrastruktur. Optimasi yang biasa menggerakkan angka: kurangi konteks tak relevan, cache, routing ke model kecil untuk tugas mudah, dan batch untuk pekerjaan non-interaktif.

Keamanan & etika bukan lampiran: prompt injection dari konten eksternal, kebocoran PII, excessive agency, dan rantai pasok (plugin/MCP pihak ketiga). Kerangka acuannya OWASP Top 10 untuk aplikasi LLM/agenik + prinsip least privilege di tiap boundary.

# checklist rilis minimal (simpan sebagai issue template)
# [ ] eval regression lolos (n kasus, metrik sama)
# [ ] tracing aktif: token, latensi, biaya per request
# [ ] rate limit + auth di gateway
# [ ] uji prompt injection pada input eksternal
# [ ] rencana rollback + batas biaya harian

Output:
(template tersimpan)