Modul 7: Generative AI & RL

Model generatif belajar distribusi data lalu mengambil sampel darinya: LLM menghasilkan token berikutnya, model diffusion menghasilkan gambar lewat proses denoising bertahap. Parameter decoding mengatur hasil: temperature tinggi = kreatif tapi liar; top-p membatasi kandidat token.

Perjalanan LLM dari 'mesin tebak kata' menjadi asisten: pre-training di korpus masif (kemampuan bahasa) → supervised fine-tuning dengan contoh instruksi→jawaban → alignment dengan feedback manusia (RLHF) atau preferensi (DPO). Tiga tahap, tiga data berbeda — inilah kenapa LLM bisa mengikuti instruksi.

Reinforcement learning: agen mengambil action pada state dan menerima reward, lalu memperbaiki policy. Intuisinya latihan dengan umpan balik — bukan label jawaban benar. RL muncul di alignment model, robotika, dan sistem rekomendasi; tidak semua masalah butuh RL — mulai dari yang sederhana.