Modul 8: LLM dari Nol & LLM Engineering

LLM dari nol ternyata sederhana secara konsep: teks → tokenizer → embedding + posisi → N blok Transformer (attention + feed-forward) → head memprediksi token berikutnya. Sampling memilih token dari distribusi, lalu ulangi. Kebesaran ada di skala data dan parameter, bukan sihir arsitektur.

# siklus autoregressive (pseudocode)
konteks = tokenize('Indonesia adalah negara')
for _ in range(5):
    probs = model(konteks)          # distribusi token berikutnya
    token = sample(probs, temperature=0.7)
    konteks = konteks + [token]
print(detokenize(konteks))

Output:
Indonesia adalah negara kepulauan yang besar dan ...

LLM engineering = pekerjaan di sekeliling model: mengelola context window (semua yang dikirim dibayar per token dan ada batasnya), prompt caching untuk prefix stabil, structured output (JSON) agar jawaban bisa diproses sistem, dan fallback ketika provider gagal.

Prompt engineering yang serius mirip software: prompt disimpan sebagai template berversi, diuji dengan eval set kecil, diiterasi berdasarkan hasil — bukan digubah perasaan. Tanpa evaluasi, 'prompt lebih baik' hanyalah opini.