Peta Lengkap Konsep AI · Bagian 34–43

7/12

Bagian 34–43

Bagian 34–43 dari 71 bagian · Belajar 1

34.Cost rekayasa AI

Cost bukan sekadar harga model.

Komponen yang perlu dihitung:

Total Cost
├── Model input tokens
├── Model output tokens
├── Embedding generation
├── Retrieval / database
├── Reranking
├── Tool/API calls
├── GPU / CPU
├── Storage
├── Network
├── Observability
└── Human review

Diagram — Cost rekayasa AI

34.1 Teknik optimasi

prompt/konteks reduction;
caching;
smaller model untuk subtugas;
batching;
perutean berdasarkan complexity;
pengambilan filtering;
quantization untuk hosting mandiri;
fewer pemanggilan alat;
hasil truncation;
asinkron jobs untuk tugas non-interaktif.

35.Latency rekayasa

Pecah latensi menjadi:

Total latensi, =, network, + queue, + retrieval, + reranking, + model prefill, + model decode, + tool calls, + post-processing

Untuk agen, latensi total dapat menjadi akumulasi dari beberapa langkah.

Strategi umum:

parallel alat/pengambilan calls;
cache;
smaller/faster model;
early stopping;
streaming;
reduce konteks;
reduce unnecessary alat loops;
pre-komputasi embeddings/indexes.

36.AI infrastruktur

36.1 Komputasi

CPU.
GPU.
TPU dan accelerator lain.
lokal workstation.
Cloud GPU/accelerator.
Distributed komputasi.

36.2 Penyimpanan

Objek penyimpanan untuk dataset/model artifacts.
Relational database.
NoSQL.
Vector database.
Search engine.
Cache.
Graph database.

36.3 Serving

Client
 ↓
API Gateway
 ↓
Auth / Rate Limit
 ↓
AI Gateway / Router
 ├── Provider A
 ├── Provider B
 └── Self-hosted model
       ↓
Retriever / Tool / Memory
       ↓
Response

Diagram — AI infrastruktur

36.4 Self-hosting vs API

	API	Self-hosting
Infrastruktur	Provider	Tim sendiri
Kontrol model/runtime	Lebih terbatas	Lebih besar
Operasi GPU	Provider	Sendiri
Governance	Bergantung penyedia + kontrak	Lebih banyak kontrol sendiri
Complexity	Lebih rendah	Lebih tinggi

Keputusan harus memakai persyaratan nyata: keamanan, residensi data, volume, latensi, ketersediaan model, total biaya, dan operasi.

37.Vector database bukan sama dengan embedding model

Ini sering tertukar.

Embedding model
     ↓
vector
     ↓
Vector index / database
     ↓
similarity search

Diagram — Vector database bukan sama dengan embedding model

Embedding model membuat representasi. Vector DB/index menyimpan dan mencari representasi.

Contoh sistem penyimpanan/search dapat memakai dedicated vector DB atau database/search engine yang memiliki kemampuan vector search.

38.Search stack untuk RAG

Sebuah search stack perusahaan dapat terlihat seperti:

Query
 ↓
Query parser / rewrite
 ↓
├── BM25 / lexical search
├── Vector search
└── Metadata filtering
 ↓
Candidate fusion
 ↓
Reranker
 ↓
Top-N context
 ↓
LLM

Diagram — Search stack untuk RAG

Ini menjelaskan mengapa “RAG” bukan satu teknologi tunggal, melainkan rangkaian komponen pengambilan + konteks assembly + generasi.

39.Multimodal AI secara end-to-end

Text ─────┐
Image ────┤
Audio ────┼→ Multimodal representation / model → Output
Video ────┤
Tables ───┘

Diagram — Multimodal AI secara end-to-end

39.1 Image

tugas: classification, detection, segmentation, OCR/dokumen understanding, image generasi.

39.2 Audio

tugas: ASR, TTS, diarization, classification, generasi, enhancement.

39.3 Video

tugas: temporal understanding, event detection, summarization, video generasi.

39.4 dokumen AI

dokumen AI menggabungkan parsing, OCR/layout analysis, table extraction, semantic understanding, pengambilan, dan generasi. PDF tidak boleh dianggap sebagai plain text saja karena layout, table, header/footer, image, dan reading order dapat memengaruhi kualitas extraction.

40.Recommendation sistem

Recommendation sistem adalah cabang penting AI yang sering tidak dibahas ketika orang hanya fokus pada LLM.

Komponen umum:

Candidate generation
        ↓
Ranking
        ↓
Filtering / policy
        ↓
Re-ranking
        ↓
Serving
        ↓
Feedback

Diagram — Recommendation sistem

Konsep yang perlu dikenal:

collaborative filtering;
konten-based recommendation;
embeddings;
two-tower pengambilan;
ranking model;
exploration/exploitation;
online evaluasi.

41.Komputasir Vision

Peta konsep:

Computer Vision
├── Classification
├── Object Detection
├── Semantic Segmentation
├── Instance Segmentation
├── OCR / Document Vision
├── Pose Estimation
├── Tracking
├── Image Retrieval
└── Image Generation

Diagram — Komputasir Vision

Arsitektur dapat mencakup CNN, Vision Transformer, multimodal model, detector/segmenter khusus, dan generative model.

42.Speech dan Audio AI

Peta:

Audio
├── ASR
├── TTS
├── Diarization
├── Speaker recognition
├── Audio classification
├── Music / sound generation
├── Speech enhancement
└── Voice conversion

Diagram — Speech dan Audio AI

Sistem real-time menambahkan kebutuhan streaming, buffering, interruption handling, turn-taking, dan latensi.

Rujukan: https://huggingface.co/learn/audio-course/chapter2/introduction

43.Reinforcement Learning (Pembelajaran Penguatan) secara lebih lengkap

Konsep:

Istilah	Arti
State	Keadaan lingkungan
Action	Tindakan agen
Reward	Sinyal nilai setelah action
Policy	Strategi memilih action
Nilai	Estimasi nilai keadaan/tindakan
Episode	Satu rangkaian interaksi
Exploration	Mencoba action untuk memperoleh informasi
Exploitation	Menggunakan action yang sudah dianggap baik

Keluarga RL mencakup value-based, policy-gradient, actor-critic, offline RL, model-based RL, dan variasi lainnya.

Dalam AI generatif, prujukan optimization dan RL dapat menjadi bagian post-pelatihan, tetapi tidak semua model generatif harus memakai RL.