Bagian 27–33

Dokumen awal menggunakan OWASP Top 10 2025. Karena dokumen ini diperbarui pada September 2026, referensi utama sekarang harus menunjuk ke sumber daya OWASP 2026 yang tersedia.

OWASP menerbitkan OWASP GenAI LLM Top 10 2026 pada 3 Agustus 2026 dan OWASP Top 10 for Agenic Applications 2026 sebagai framework khusus sistem agenic. Keduanya harus dianggap sebagai referensi hidup dan dapat memiliki update berikutnya.

Jangan mencampur ranking/numbering 2025 dan 2026 tanpa menyebut edisinya.

Rujukan:

• https://genai.owasp.org/resource/owasp-genai-llm-top-10-2026/
• https://genai.owasp.org/resource/owasp-top-10-for-agentic-applications-for-2026/

28.1 Agenic keamanan concerns

OWASP Agenic Applications 2026 membahas risiko khusus sistem yang dapat merencanakan dan mengambil tindakan, termasuk tujuan hijacking, penyalahgunaan alat, identitas/privilege abuse, agenic supply-chain vulnerabilities, unexpected eksekusi kode, serta kategori risiko agenic lain yang dirinci pada framework.

Untuk perusahaan, keamanan agen harus mencakup identitas + permission + alat authorization + runtime control + observabilitas, bukan hanya prompt filtering.

Rujukan:

• https://genai.owasp.org/resource/owasp-top-10-for-agentic-applications-for-2026/
• https://genai.owasp.org/resource/agent-control-standard-acs/

29.1 NIST AI RMF

NIST AI RMF adalah framework sukarela untuk membantu organisasi mengelola risiko AI dan meningkatkan trustworthiness. NIST juga menerbitkan AI Generatif Proberkas (NIST AI 600-1) pada 26 Juli 2024. Pada 2026 NIST menyatakan AI RMF 1.0 sedang direvisi dan juga menerbitkan concept note untuk Critical Infrastructure Proberkas.

Rujukan:

• https://www.nist.gov/itl/ai-risk-management-framework
• https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence

29.2 Governed AI siklus hidup

Business objective
      ↓
AI use-case assessment
      ↓
Risk identification
      ↓
Data / privasi assessment
      ↓
Model / vendor assessment
      ↓
Security controls
      ↓
Evaluation criteria
      ↓
Deployment approval
      ↓
Monitoring / audit
      ↓
Incident / change management

29.3 AI tata kelola vs keamanan AI

• Governance: siapa boleh melakukan apa, risiko apa yang diterima, bagaimana approval dan audit dilakukan.
• keamanan: bagaimana sistem dilindungi dari penyalahgunaan, serangan, kebocoran, dan compromise.
• Safety: bagaimana sistem mencegah/menangani perilaku yang berbahaya atau tidak diinginkan.

Ketiganya beririsan tetapi bukan istilah yang identik.

AI sistem harus mempertimbangkan:

• data minimization;
• tujuan limitation;
• access control;
• encryption;
• retention;
• logging policy;
• residensi data bila diwajibkan;
• deletion/retention persyaratans;
• tenant isolation;
• third-party processing;
• redaction/tokenization.

Untuk RAG, access control harus diterapkan sebelum atau selama pengambilan, bukan hanya pada akhir answer, karena pengguna tidak seharusnya dapat mengambil dokumen yang memang tidak berhak ia akses.

Rujukan tata kelola: NIST AI RMF. https://www.nist.gov/itl/ai-risk-management-framework

MLOps adalah praktik mengoperasikan sistem machine pembelajaran sebagai sistem produksi, bukan sekadar menjalankan notebook pelatihan.

Google mendokumentasikan komponen seperti data collection/verification, pengujian, sumber daya management, model analysis, metadata/process management, serving, pemantauan, serta CI/CD/continuous pelatihan.

Rujukan: https://docs.cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning

31.1 Komponen MLOps

Source Control
├── Code
├── Config
├── Data schema
└── Pipeline definition

ML Lifecycle
├── Dataset versioning
├── Experiment tracking
├── Training
├── Evaluation
├── Model registry
├── Deployment
└── Monitoring

31.2 Model registry

Penyimpanan metadata/version model, artifact, evaluasi hasil, dan status penerapan.

31.3 Feature store

Sistem untuk mengelola feature ML yang dipakai secara konsisten oleh pelatihan dan serving; kebutuhan penyimpanan fitur sangat tergantung kasus penggunaan.

31.4 Drift pemantauan

Memantau perubahan distribusi data dan performa model.

LLMOps adalah disiplin operasional khusus aplikasi berbasis LLM. Kebutuhan umum meliputi prompt/version management, tracing, evaluasi, perutean model, cost tracking, latensi pemantauan, produksi pemantauan, dan tata kelola.

Rujukan industri: MLflow LLMOps ikhtisar. https://mlflow.org/llmops

32.1 AgentOps

Istilah AgentOps digunakan untuk aspek operasional sistem agenic yang memiliki execution graph, multi-step trace, pemanggilan alat, memori/state, dan agen-specific evaluasis.

Istilah ini belum memiliki satu definisi standar universal; gunakan sebagai label rekayasa/operasi dan jelaskan cakupan organisasi.

Observability berarti kemampuan memahami apa yang terjadi di sistem saat runtime.

33.1 Traces

Trace menunjukkan alur permintaan dari awal sampai akhir dan dapat mencakup:

Request
 ↓
Router
 ↓
Retriever
 ↓
LLM call
 ↓
Tool call
 ↓
Database/API
 ↓
LLM synthesis
 ↓
Response

33.2 Metrics

Contoh:

• latensi;
• throughput;
• error rate;
• token usage;
• cost;
• cache hit rate;
• pengambilan recall;
• eval sinti;
• alat success rate;
• safety violation rate.

33.3 Logs

Catat event penting dengan memperhatikan privasi dan secret leakage.

33.4 OpenTelemetry

OpenTelemetry menyediakan semantic conventions untuk telemetry seperti trace, metrik, log, dan sumber daya. Dokumentasi GenAI juga mendefinisikan attribute schema khusus untuk operasi GenAI; masukan/keluaran message dapat mengandung PII sehingga recording konten perlu dikontrol.

Rujukan:

• https://opentelemetry.io/docs/concepts/semantic-conventions/
• https://opentelemetry.io/docs/specs/semconv/registry/attributes/gen-ai/