Modul 6: Audio & Transformers

Audio punya dua arah: ASR (suara → teks, speech recognition) dan TTS (teks → suara). Tantangan khasnya waktu-nyata: buffering, latency, dan giliran bicara. Representasi standarnya spektrogram — 'gambar' dari gelombang suara sehingga model vision-style bisa dipakai.

Transformer (paper 'Attention Is All You Need', 2017) menggantikan perulangan dengan attention: tiap token 'melihat' semua token lain dan menimbang mana yang relevan. Self-attention multi-head dijalankan di banyak lapisan — inilah arsitektur di balik LLM modern.

# intuisi attention: skor = relevansi antar token
skor = {'kucing': 0.2, 'duduk': 0.5, 'di': 0.05, 'mat': 0.6}
total = sum(skor.values())
bobot = {k: round(v / total, 2) for k, v in skor.items()}
print(bobot)  # 'mat' & 'duduk' paling diperhatikan

Output:
{'kucing': 0.15, 'duduk': 0.37, 'di': 0.04, 'mat': 0.44}

Attention sendiri tak tahu urutan — positional encoding menyuntikkan informasi posisi ke embedding. Kombinasi: embedding + posisi → self-attention → feed-forward, diulang N lapisan. Transformer juga paralel (bukan berurutan seperti RNN) — itulah sumber skalabilitasnya.