Bagian 5–8

Banyak kegagalan AI berasal dari data dan sistem, bukan dari kurang besarnya model. Pada sistem produksi, data perlu dikelola sebagai aset dengan lineage, kualitas, versioning, akses, dan validasi.

6.1 Jenis data

• Structured: tabel/relational.
• Semi-structured: JSON, XML, event records.
• Unstructured: dokumen, PDF, email, tiket, sumber code.
• Multimedia: image, audio, video.
• Time-series / event stream: data berurutan menurut waktu.

6.2 data pipeline

Source
  ↓
Ingestion
  ↓
Validation
  ↓
Cleaning / Normalization
  ↓
Transformation
  ↓
Labeling / Annotation
  ↓
Train / Validation / Test split
  ↓
Dataset versioning
  ↓
Training / Evaluation

6.3 kualitas data

Hal yang umum diperiksa:

• missing values;
• duplicate data;
• schema/type errors;
• outlier/anomaly;
• label inconsistency;
• leakage antara train dan menguji;
• distribution shift;
• PII/sensitive data;
• asal-usul dan lisensi.

6.4 data leakage

data leakage terjadi ketika informasi yang tidak seharusnya tersedia pada waktu prediksi masuk ke feature/pelatihan/evaluasi sehingga hasil offline terlihat lebih baik daripada performa nyata.

6.5 data drift / concept drift

• data drift: distribusi masukan berubah.
• Concept drift: hubungan masukan → target berubah.

pemantauan perubahan data penting dalam produksi ML karena performa dapat turun ketika lingkungan berubah.

Rujukan: Google MLOps. https://docs.cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning

Problem Definition
      ↓
Dataset / Data Pipeline
      ↓
Baseline
      ↓
Model / Architecture Selection
      ↓
Pre-training atau Fine-tuning
      ↓
Validation
      ↓
Evaluation
      ↓
Safety / Security Tests
      ↓
Packaging / Registry
      ↓
Deployment
      ↓
Monitoring
      ↓
Feedback / Retraining / Version Update

7.1 Tokenization

Tokenizer mengubah masukan menjadi unit token yang dipakai model. Token bukan selalu sama dengan kata; token dapat berupa bagian kata, karakter, atau unit lain sesuai tokenizer.

7.2 Parameters / weights

Parameter adalah nilai yang dipelajari selama pelatihan. Jumlah parameter adalah salah satu ukuran skala model, tetapi bukan satu-satunya indikator kemampuan atau biaya.

7.3 Objective dan loss

pelatihan mengoptimalkan objective yang diturunkan menjadi loss atau fungsi optimisasi lain. Contoh objective language modeling adalah memprediksi token sesuai desain pelatihan.

7.4 Pre-pelatihan

Tahap membentuk kemampuan dasar model dari data skala besar sesuai objective pre-pelatihan.

7.5 SFT — Supervised Fine-Tuning

Model dilatih lebih lanjut menggunakan contoh masukan→keluaran yang telah disiapkan untuk perilaku/tugas tertentu.

7.6 Prujukan optimization

Metode seperti DPO menggunakan data preferensi untuk menyesuaikan model tanpa harus menjalankan RLHF dengan pipeline RL penuh.

Rujukan: https://arxiv.org/abs/2305.18290

7.7 RLHF

Reinforcement Learning (Pembelajaran Penguatan) from Human Feedback adalah keluarga teknik alignment yang menggunakan feedback/prujukan manusia dalam pipeline pelatihan; implementasinya dapat melibatkan reward model dan RL algorithm tertentu.

7.8 PEFT

Parameter-Efficient Fine-Tuning mengurangi parameter yang perlu dilatih. LoRA adalah salah satu teknik utama: adaptasi dilakukan melalui low-rank updates sehingga jauh lebih sedikit parameter yang trainable dibanding full fine-tuning.

Rujukan: https://arxiv.org/abs/2106.09685

7.9 QLoRA

QLoRA menggabungkan quantized base model dengan LoRA untuk memungkinkan fine-tuning yang lebih hemat memori pada setting tertentu.

Rujukan: https://arxiv.org/abs/2305.14314

7.10 Distillation

pengetahuan distillation memindahkan sebagian perilaku/representasi/pengetahuan dari model teacher ke model student yang lebih kecil atau lebih sesuai kebutuhan penerapan.

7.11 Quantization

Quantization mengurangi presisi numerik representasi model, misalnya FP16 → INT8 atau format lain, dengan tujuan mengurangi ukuran, memori, atau biaya inference. Trade-off terhadap kualitas, hardware, dan kernel perlu diukur.

7.12 Mixture of Experts (MoE)

MoE memiliki banyak expert dan mekanisme perutean memilih subset expert untuk masukan/token tertentu. Tujuan utamanya adalah meningkatkan kapasitas parameter dengan komputasi aktif yang tidak harus sama dengan seluruh parameter.

pelatihan menghasilkan parameter; inference adalah saat model digunakan untuk menghasilkan keluaran berdasarkan masukan tertentu.

8.1 Decoding

Teknik decoding menentukan bagaimana token berikutnya dipilih.

8.2 KV cache

Pada autoregressive transformer, key/value dari token sebelumnya dapat disimpan agar tidak dihitung ulang pada setiap langkah, sehingga inference berulang dapat menjadi lebih efisien. Implementasi detail bergantung pada runtime dan arsitektur model.

8.3 Batching

• Static batching: permintaan dikumpulkan dalam batch yang relatif tetap.
• Dynamic batching: permintaan yang datang dikelompokkan secara dinamis.
• Continuous/in-flight batching: runtime terus mengatur permintaan aktif untuk meningkatkan utilization; implementasi dan istilah berbeda antar serving engine.

8.4 Speculative decoding

Teknik yang menggunakan model draft yang lebih murah untuk mengusulkan beberapa token kemudian diverifikasi oleh model target dalam pola yang dirancang agar menghasilkan keluaran yang sama sesuai algoritma/metode yang digunakan.

8.5 Throughput vs latensi

• Latency: berapa lama sebuah permintaan menunggu.
• Throughput: berapa banyak pekerjaan yang dapat diproses per satuan waktu.
• Optimasi satu metrik dapat memengaruhi metrik lain.