Bagian 20–26

MCP adalah protokol terbuka untuk menghubungkan aplikasi LLM dengan data dan alat eksternal. Spesifikasi resmi saat dokumen ini diperbarui adalah 2026-07-28.

MCP menggunakan JSON-RPC 2.0 sebagai message protocol dan membedakan host, klien, dan server.

              AI Application / Host
                       │
              ┌────────┴────────┐
              │                 │
           Client A          Client B
              │                 │
         MCP Server A      MCP Server B
              │                 │
          DB / API /       Files / SaaS /
          Tools / Data       Other tools

21.1 Peran

• host: aplikasi AI yang mengelola satu atau lebih MCP kliens.
• klien: konektor dalam host yang mempertahankan koneksi ke server MCP.
• server: program yang menyediakan konteks/kemampuan kepada klien.

21.2 Primitive utama

server dapat menyediakan:

• Tools: fungsi yang dapat dieksekusi.
• Resumbers: data/konteks.
• Prompts: template interaksi.

MCP juga mendokumentasikan klien-side capabilities seperti elicitation dan berbagai utility/extension sesuai versi spesifikasi.

21.3 Transport

Spesifikasi saat ini mendokumentasikan:

• stdio untuk proses lokal;
• Streamable HTTP untuk komunikasi jarak jauh.

21.4 keamanan

MCP sendiri tidak menghilangkan kebutuhan keamanan. Dokumentasi resmi menekankan consent, authorization, access control, data privasi, dan kehati-hatian karena alat dapat merepresentasikan jalur eksekusi kode/aksi.

Rujukan utama:

• https://modelcontextprotocol.io/specification/latest
• https://modelcontextprotocol.io/docs/learn/architecture

Komputasir gunakan adalah pendekatan ketika AI berinteraksi dengan lingkungan komputer melalui tindakan seperti klik, keyboard, window/application interaction, atau mekanisme visual/otomasi lain.

Bedakan dengan alat API:

Komputasir gunakan memerlukan sandboxing, permission control, audit log, dan containment karena action space dapat jauh lebih luas daripada text generasi.

Rujukan keamanan: NIST AI RMF; OWASP Agenic Applications.

• https://www.nist.gov/itl/ai-risk-management-framework
• https://genai.owasp.org/resource/owasp-top-10-for-agentic-applications-for-2026/

evaluasi bukan sekadar benchmark model. Yang diukur adalah sistem dan tujuan bisnis.

23.1 Model benchmark

Mengukur kemampuan model pada dataset/tugas tertentu.

23.2 sistem eval

Mengukur gabungan prompt + pengambilan + model + alat + business rules + post-processing.

23.3 Capability vs evaluasi regresi

• Capability eval: apakah sistem bisa melakukan tugas?
• Regression eval: apakah perubahan baru merusak kemampuan yang sebelumnya berjalan?

23.4 Evals untuk agen

Komponen yang berguna:

• tugas definition;
• trial/attempt;
• transcript;
• pemanggilan alat;
• penilai;
• outcome/state akhir;
• harness;
• cost/latensi metrik.

Anthropic membahas evals agen sebagai mekanisme untuk mengukur kemampuan sistem dan mendeteksi regresi sebelum/selama penerapan.

Rujukan: https://www.anthropic.com/engineering

23.5 Grader

• deterministic/code-based;
• rubrik-based LLM judge;
• human evaluasi;
• hybrid penilai.

23.6 Groundedness / factuality

Untuk RAG, uji apakah jawaban benar-benar didukung konteks yang di-retrieve, bukan hanya apakah jawabannya terdengar bagus.

23.7 Tool-use correctness

Uji apakah agen:

• memilih alat yang benar;
• memberikan parameter yang benar;
• menangani error;
• tidak memanggil alat yang tidak perlu;
• meminta confirmation pada aksi sensitif.

Dua metrik ini menjawab pertanyaan berbeda.

• pass@k: peluang bahwa setidaknya satu dari k sampel berhasil.
• pass^k: semua k sampel harus berhasil.

Untuk sistem yang harus sangat konsisten pada setiap percobaan, pass^k menjadi lebih ketat daripada pass@k. Keduanya identik secara konsep ketika k=1.

Hallucination adalah keluaran model yang tidak benar atau tidak didukung fakta/sumber yang diperlukan.

Namun failure AI lebih luas:

Karena mode kegagalan berbeda, mitigasi juga harus berbeda. RAG tidak otomatis memperbaiki semua kegagalan; ia memindahkan sebagian risiko ke pengambilan dan grounding.

Guardrails adalah kontrol yang membatasi perilaku sistem.

26.1 guardrail masukan

Menangani masukan berbahaya, malformed, atau di luar cakupan.

26.2 Retrieval guardrail

Memastikan dokumen yang boleh diambil sesuai tenant/pengguna/access policy.

26.3 Tool guardrail

Membatasi alat dan parameter yang dapat dieksekusi.

26.4 guardrail keluaran

Validasi schema, policy, sensitive information, dan business rules.

26.5 Runtime guardrail

Rate limits, timeouts, budgets, max pemanggilan alat, sandbox, network restrictions, human approval.

26.6 Manusia dalam loop

Aksi yang memiliki dampak tinggi dapat memerlukan persetujuan manusia sebelum execution.