Tokenisasi Suku Kata Aglutinatif: Menjembatani Kognisi Manusia dan Efisiensi LLM Indonesia

Mengapa AI Sering Kagok Berbahasa Indonesia?

Saat Anda berinteraksi dengan AI, ia tidak membaca kata demi kata seperti manusia. AI memotong teks menjadi potongan kecil yang disebut token. Proses pemotongan ini dinamakan tokenisasi (tokenization).

Masalahnya, sebagian besar model bahasa populer di luar sana (seperti GPT-4 atau Llama) dilatih dengan data dari ratusan bahasa secara sekaligus. Tokenizer mereka didominasi oleh kata-kata bahasa Inggris. Ketika disodori bahasa Indonesia—yang kaya akan imbuhan seperti awalan me-, di-, serta akhiran -kan dan -i (karakteristik bahasa aglutinatif)—tokenizer multibahasa ini menjadi kebingungan. Mereka memotong kata secara tidak menentu, bahkan memecahnya menjadi huruf-huruf tunggal yang tidak memiliki arti logis.

Ketidakefisienan ini berdampak langsung pada kinerja AI. Semakin banyak potongan token yang dihasilkan untuk satu kalimat, semakin lambat AI memproses teks tersebut, dan semakin besar memori komputasi yang dihabiskannya. Riset bertajuk "Syllabic Agglutinative Tokenizations for Indonesian LLM" yang diterbitkan oleh tim peneliti Bandung Fe Institute dan IT Del mencoba mengurai kebuntuan ini dengan menyelaraskan kognisi cara belajar manusia dengan komputer.

Wawasan Utama: 4 Keterampilan & Wawasan Praktis dari Riset TOBA

Para peneliti tidak sekadar menggunakan algoritma statistik murni. Mereka mengambil inspirasi dari Sistem Pembelajaran Literasi GASING, sebuah metode pengajaran membaca bagi anak-anak yang dirancang oleh fisikawan terkemuka Indonesia, Prof. Yohanes Surya. Berikut adalah empat wawasan utama yang dihasilkan:

1. Memotong Kata pada Batas Suku Kata Alami

Dalam metode GASING, anak-anak belajar membaca dengan mengeja suku kata terlebih dahulu (contoh: ma-kan, be-la-jar), bukan per huruf tunggal. TOBA-LM meniru prinsip ini secara matematis. Teks bahasa Indonesia pertama-tama disegmentasikan secara ketat berdasarkan aturan suku kata ortografis lokal sebelum diserahkan pada algoritma optimasi.

Analogi Sederhana: Bayangkan merakit mainan Lego. Menyatukan balok-balok sedang yang sudah berbentuk (suku kata) jauh lebih cepat daripada merakitnya dari butiran plastik terkecil (karakter tunggal) atau memotong balok tersebut di tengah-tengah dengan gergaji secara acak.

Batas Penerapan & Analogi: Meskipun analogi Lego ini memudahkan visualisasi, komputer tetap membutuhkan mekanisme cadangan (*character fallback*). Untuk menangani istilah asing yang polanya tidak terdaftar dalam aturan suku kata Indonesia, TOBA akan memecahnya kembali menjadi karakter Unicode tunggal agar sistem tidak error.

2. Kosakata Lebih Ringkas Namun Lebih Efisien

Tokenizer multibahasa seperti GPT-2 memiliki lemari kosakata raksasa sebesar 50.257 kata (token). Namun, karena tidak terspesialisasi, rata-rata panjang potongan katanya dalam teks Indonesia sangat pendek (hanya 2,72 karakter per token). Sebaliknya, TOBA-LM hanya memerlukan 3.500 token saja dalam kosakatanya, tetapi mampu menghasilkan rata-rata potongan kata yang lebih panjang (3,67 karakter per token) di korpus Wikipedia Indonesia.

Analogi Sederhana: Bayangkan Anda pergi memancing. Dibanding membawa koper raksasa berisi 50.000 jenis umpan untuk semua jenis ikan di dunia (multibahasa), Anda hanya membawa kotak kecil berisi 3.500 umpan yang spesifik dan sangat disukai oleh ikan di kolam lokal (bahasa Indonesia).

Batas Penerapan & Analogi: Efisiensi tinggi ini hanya berlaku di ekosistem bahasa Indonesia. Tokenizer ini tidak efisien jika digunakan untuk memproses bahasa Inggris atau kode pemrograman komputer, di mana ia terpaksa memecah teks menjadi karakter-karakter tunggal.

3. Efisiensi Informasi (Rényi Efficiency) yang Tinggi

Riset ini menggunakan metrik Efisiensi Rényi ($\eta_{\alpha}$) untuk mengukur seberapa seimbang distribusi penggunaan token dalam sebuah model. Distribusi yang seimbang mencegah AI terbiasa hanya melihat token tertentu saja yang sangat sering muncul, sehingga mempermudah model mempelajari representasi makna kata. TOBA-LM meraih efisiensi Rényi sebesar 0.74 pada korpus Wikipedia, jauh meninggalkan GPT-2 (0.50) dan BERT (0.49).

Mengapa Ini Penting bagi Kita? Efisiensi ini memotong beban komputasi pada lapisan embedding dan keluaran (*output layer*) LLM. Dampak nyatanya, kita bisa melatih model AI yang lebih pintar dengan waktu komputasi yang lebih singkat dan konsumsi daya listrik yang lebih hemat.

4. Kelenturan Menangkap Bahasa Santai (Casual Register)

Dalam pengujian obrolan sehari-hari, TOBA-LM yang berukuran kecil (1,5 Miliar parameter) diuji tanding melawan model-model raksasa kelas dunia seperti Grok, ChatGPT 4.1, Llama 3.3, dan Gemini. Hasil penilaian menggunakan evaluator independen menunjukkan bahwa TOBA-LM meraih skor naturalitas dan relevansi lokal tertinggi dalam menangani kosakata kasual dan dialek non-baku Indonesia.

Keterbatasan Model: Walaupun bahasanya terasa sangat luwes, akrab, dan natural, ukuran parameter yang kecil (1,5B) membuat TOBA-LM kalah dalam kelengkapan materi jawaban jika dibandingkan dengan model raksasa 70B yang memiliki bank data pengetahuan akademis yang jauh lebih luas.

Perbandingan Kinerja Interaktif

Gunakan visualisasi interaktif di bawah ini untuk membandingkan performa tokenizer TOBA-LM dengan tokenizer populer global yang sering digunakan pada model AI komersial saat ini.

Langkah ke Depan & Arah Riset Lanjutan

Keberhasilan mengintegrasikan metode pembelajaran membaca GASING ke dalam pemodelan bahasa komputer membuka cakrawala baru bagi pengembangan AI di negara berkembang. Struktur suku kata yang mirip juga dimiliki oleh rumpun bahasa Austronesia lainnya seperti Bahasa Jawa, Sunda, Batak, dan Melayu. Menyatukan mereka dalam satu kerangka tokenisasi terpadu merupakan target riset berikutnya.

Selain itu, teknik tokenisasi adaptif yang menyesuaikan ukuran kosakata secara dinamis berdasarkan kebutuhan tugas tertentu merupakan arah pengembangan yang sangat menjanjikan demi menekan biaya operasional AI di masa depan.

Ingin Mencoba Model Secara Langsung?

Kumpulan model TOBA-LM dan tokenizer khusus suku kata ini telah diunggah dan dapat dicoba secara bebas oleh komunitas pengembang. Anda dapat mengunjungi Hugging Face AI Toba untuk melihat, menguji, dan mengunduh model yang tersedia:

Kunjungi Hugging Face ai-toba →

Referensi Riset & Kredit

Tertarik mendalami landasan matematika dan eksperimen lengkapnya? Anda bisa membaca paper ilmiah lengkapnya di bawah ini: