Modul 8: LLM, API & Prompt Engineering

LLM (Large Language Model) memprediksi token berikutnya dari pola miliaran teks. Ia TIDAK tahu fakta — ia melanjutkan pola. Context window = memori kerjanya (mis. 128 ribu token); melebihi itu, awal percakapan terlupa. Bisa 'halusinasi' → selalu verifikasi fakta penting.

Memanggil LLM = request HTTP ke API (OpenAI-compatible). Website ini punya contohnya: menu 🤖 Asisten memanggil server lokal via /v1/chat/completions — payload berisi messages: [{role: system/user/assistant, content}]. Sistem prompt mengatur kepribadian; suhu (0-1) mengatur kreativitas.

from openai import OpenAI
client = OpenAI(base_url="http://localhost:9000/v1", api_key="lokal")

resp = client.chat.completions.create(
    model="nama-model",
    messages=[
        {"role": "system", "content": "Kamu tutor Python Bahasa Indonesia."},
        {"role": "user", "content": "Jelaskan list comprehension."},
    ],
    temperature=0.7,
)
print(resp.choices[0].message.content)

Prompt engineering = senang bertanya dengan tepat. Pola yang bekerja: (1) beri PERAN ('kamu QA senior'), (2) beri KONTEKS + CONTOH (few-shot), (3) minta FORMAT output ('jawab JSON'), (4) minta langkah berpikir untuk soal rumit. Function calling: model dipersilakan 'memanggil fungsi' milikmu (mis. ambil data cuaca) — dasar AI agent.