Bagian 44–53
Bagian 44–53 dari 71 bagian · Belajar 1
44.Model selection: jangan mulai dari model, mulai dari persyaratan
Gunakan urutan:
Business problem ↓ Input / output ↓ Freshness persyaratan ↓ Target akurasi / kualitas ↓ Latency target ↓ Security / privasi ↓ Cost ↓ Operational constraints ↓ Architecture ↓ Model choice
44.1 Contoh keputusan
Masalah: menjawab SOP internal yang berubah setiap minggu. Kandidat utama: pengambilan/RAG + access control + citations + evals.
Masalah: model harus selalu mengembalikan struktur JSON tertentu. Kandidat: Structured keluaran/schema + validation.
Masalah: AI harus mengecek order di CRM. Kandidat: alat/API/MCP, bukan fine-tuning untuk menyimpan status order.
Masalah: gaya penulisan tertentu dan format stabil. Kandidat: prompt + contoh; fine-tuning dapat dievaluasi jika kebutuhan berulang dan dataset memadai.
Masalah: GUI tanpa API. Kandidat: Computer Use/otomasi dengan sandbox dan approval.
45.Reference arsitektur perusahaan AI
┌──────────────────────┐
│ Users │
└──────────┬───────────┘
│
┌──────────▼───────────┐
│ API / UI / Channels │
└──────────┬───────────┘
│
┌─────────────────▼─────────────────┐
│ Auth / Tenant / Policy / Rate │
└─────────────────┬─────────────────┘
│
┌─────────────────▼─────────────────┐
│ AI Gateway / Router / Guardrails │
└──────────────┬───────┬─────────────┘
│ │
┌─────────▼─┐ ┌─▼────────────┐
│ Context │ │ Agen/Workflow│
│ Engine │ │ Orchestrator │
└──────┬────┘ └──────┬────────┘
│ │
┌───────────▼──────┐ ┌────▼──────────┐
│ Retrieval │ │ Tools / MCP │
│ BM25 + Vector │ │ APIs / DB / │
│ + Reranker │ │ SaaS / Code │
└───────────┬──────┘ └───────────────┘
│
┌───────────▼───────────┐
│ Knowledge / Memory │
│ Docs / DB / Graph │
└────────────────────────┘
│
┌──────▼──────┐
│ Model Layer │
│ LLM / VLM / │
│ Audio / etc │
└──────┬──────┘
│
┌───────────▼────────────┐
│ Evals / Observability │
│ Traces / Logs / Metrics│
└───────────┬────────────┘
│
┌───────────▼────────────┐
│ Governance / Security │
│ Audit / Incident / IAM │
└────────────────────────┘Ini adalah arsitektur referensi konseptual, bukan satu standar wajib. Implementasi konkret harus mengikuti kebutuhan sistem.
46.Contoh arsitektur chatbot perusahaan + RAG + alat
User
↓
API Gateway
↓
SSO / IAM
↓
Policy Engine
↓
Query Classifier / Router
├── Simple FAQ → LLM
├── Knowledge Query → RAG
├── Transaction Query → Tool/API
└── Complex Task → Agen Workflow
│
├── Search
├── CRM API
├── DB Read
└── Ticketing
↓
Grounded Response
↓
Citation / Audit
↓
UserContoh flow RAG
User: "Apa prosedur isolir pelanggan?"
↓
Query normalization
↓
Access-control filter
↓
BM25 + vector search
↓
Reranking
↓
Top documents
↓
LLM
↓
Answer + source referencesContoh flow transactional
User: "Cek status order 12345"
↓
LLM identifies intent
↓
Tool call: get_order_status(12345)
↓
CRM/API
↓
Result validation
↓
LLM formats response47.AI piramida pengujian aplikasi
E2E / Production-like, ▲, Agen evals, ▲, RAG / retrieval evals, ▲, Integration tests, ▲, Unit tests, ▲, Schema / contract tests
Semakin bawah, menguji biasanya lebih deterministic dan cepat. Semakin atas, menguji lebih dekat dengan perilaku pengguna tetapi lebih mahal dan kompleks.
48.Versioning yang perlu dikelola
Jangan hanya version model.
Version setidaknya:
Application version Model version Prompt version Tool schema version MCP server version Embedding model version Reranker version Dataset version Chunking strategy version Retrieval configuration Guardrail policy version Evaluation suite version
Perubahan pada salah satu komponen dapat mengubah perilaku sistem. Karena itu produksi AI perlu reproducibility dan berubah tracking.
49.Model card, kartu data, BOM AI
Dokumentasi AI dapat mencakup:
- Model Card: intended gunakan, keterbatasan, evaluasi, risikos.
- data Card / dokumentasi dataset: asal-usul, cakupan, kualitas, keterbatasan.
- BOM AI / ML BOM: inventory komponen AI dan dependency untuk supply-chain visibility.
OWASP Genkeamanan AI proyek pada 2026 juga mempublikasikan sumber daya terkait AIBOM/AI daftar material perangkat lunak.
Rujukan: https://genai.owasp.org/resources/
50.keamanan arsitektur untuk agen
User
│
Identity / SSO
│
Policy / Approval
│
Agen Runtime
/ | \
/ | \
Memory Tools RAG
│ │ │
ACL / tenant RBAC ACL / tenant
\ | /
\ | /
Audit / Trace
│
SIEM / SOCPrinsip penting:
- least privilege;
- explicit authorization;
- alat allow-list;
- cakupand kredensial;
- separate membaca/menulis alat;
- approval for high-impact actions;
- audit trail;
- sandbox untuk code/penggunaan komputer;
- tenant isolation;
- runtime budgets and kill switch.
Rujukan: OWASP Agenic Applications 2026 dan MCP keamanan guidance.
51.AI rantai pasok
Komponen rantai pasok AI dapat meliputi:
Dataset ↓ Preprocessing code ↓ Base model ↓ Fine-tune / adapter ↓ Tokenizer ↓ Runtime / inference engine ↓ Libraries / containers ↓ MCP servers / plugins ↓ Eksternal APIs ↓ Application
Threat model harus mencakup dependency compromise, malicious model artifacts, data poisoning, compromised alat/server, credential leakage, dan unauthorized model perubahan.
OWASP 2026 secara eksplisit memasukkan kekhawatiran rantai pasok pada AI/agenic keamanan guidance.
52.AI keandalan rekayasa
Reliability AI berarti menjaga sistem tetap berguna walaupun komponen probabilistik dapat menghasilkan variasi.
Teknik:
- deterministic validation;
- retries dengan backoff;
- idempotent alat;
- timeout;
- circuit breaker;
- model cadangan;
- jawaban cadangan;
- human escalation;
- state checkpointing;
- durable tugas handling;
- budget limits;
- evaluasi regresis.
Catatan: jangan menggunakan retry sebagai satu-satunya strategi untuk error yang bersifat semantic.
53.AI + database
AI dapat bekerja dengan database melalui beberapa pola:
53.1 Retrieval hanya-baca
User ↓ LLM ↓ Query / Tool ↓ DB ↓ Result ↓ LLM
53.2 Text-to-SQL
LLM menghasilkan SQL berdasarkan schema dan permintaan pengguna.
Guardrail wajib untuk produksi:
- hanya-baca role untuk kueri analysis;
- SQL validation;
- table/column allow-list;
- row-tingkat keamanan;
- kueri timeout;
- hasil-size limit;
- audit log;
- parameterization jika applicable.
53.3 RAG dari database
data terstruktur tidak selalu perlu diubah menjadi embedding. Query SQL biasa sering lebih tepat untuk penyaringan persis, agregasi, join, dan status transaksi. Vector pengambilan cocok untuk semantic pengambilan pada data yang memang membutuhkan kemiripan/pencocokan semantik.