Modul 9: Multimodal, Tools & Agent Engineering

Multimodal = satu model mengolah lebih dari satu modalitas: teks + gambar (VLM), teks + audio, bahkan video. Pemakaian nyatanya: tanya gambar, OCR dokumen, transkrip rapat. Data multimodal menuntut perhatian ekstra pada kualitas dan hak akses.

Tools memberi model 'tangan': function calling membuat model meminta eksekusi fungsi (cek order, query DB) dan sistemmu menjalankannya lalu mengembalikan hasil. MCP (Model Context Protocol) menstandarkan sambungan ke server alat — satu protokol, banyak integrasi, tanpa memodifikasi inti model.

# loop agen minimal (pseudocode)
riwayat = [user('Ringkas order #123 dari DB')]
for langkah in range(5):
    respons = llm(riwayat, tools=[query_db, ringkas])
    if respons.tool_call:
        hasil = jalankan(respons.tool_call)   # sistem yang eksekusi!
        riwayat += [respons, tool_result(hasil)]
    else:
        print(respons.teks); break

Output:
Order #123: 3 item, total Rp 250.000, dikirim 24 Sep.

Agen = LLM + alat + loop + berhenti yang jelas. Prinsip keamanannya: alat seminimal mungkin, izin eksplisit, aksi berisiko butuh approval manusia, dan semua pemanggilan dicatat. Agen tanpa guardrail adalah bug yang berjalan.