Ini adalah momen yang menarik bagi kecerdasan buatan. Untuk waktu yang lama, kemajuan AI mengikuti aturan sederhana: membuat model lebih besar. Lebih banyak parameter, lebih banyak data, lebih banyak komputasi. Ini berhasil, tetapi juga menimbulkan masalah serius. Melatih model besar itu mahal, lambat, dan menghabiskan energi dalam jumlah sangat besar.
Baru-baru ini, Nvidia memperkenalkan gagasan berbeda yang disebut Mixture of Experts, atau MOE. Alih-alih mengaktifkan seluruh jaringan saraf untuk setiap tugas, model belajar memilih bagian mana dari sistem yang benar-benar dibutuhkan. Setiap bagian bertindak seperti ahli dalam bidang tertentu. Untuk pertanyaan tertentu, hanya ahli yang paling relevan yang digunakan.
Ini membuat sistem lebih efisien dan lebih fleksibel. Cara kerjanya mirip dengan manusia. Anda tidak meminta bantuan setiap orang yang Anda kenal untuk setiap masalah. Anda meminta bantuan kepada mereka yang paling cocok untuk situasi tersebut. Dengan MOE, sistem AI dapat menjadi lebih cerdas tanpa menjadi terlalu berat secara tidak perlu.
Banyak peneliti meyakini arah ini penting bagi tujuan jangka panjang Artificial General Intelligence, atau AGI. Sistem yang dapat menangani banyak jenis masalah yang berbeda membutuhkan lebih dari sekadar ukuran mentah. Sistem itu membutuhkan pengambilan keputusan. Sistem itu perlu tahu kemampuan mana yang harus digunakan dan kapan.
Gagasan ini tidak terbatas pada makalah penelitian.
Faktanya, kami telah bekerja dengan pendekatan serupa di Dvina. Sejak awal, kami berasumsi bahwa tidak ada satu model bahasa atau alat pun yang akan unggul dalam segala hal. Alih-alih bergantung pada satu model, kami membangun lapisan orkestrator yang berada di atas banyak model, alat, dan sumber data.
Orkestrator ini bekerja sebagai lapisan pengambilan keputusan. Ketika pengguna mengajukan pertanyaan, lapisan ini memutuskan model atau sumber daya mana yang harus digunakan. Terkadang ia menggunakan satu. Terkadang ia menggabungkan beberapa dan menyatukan hasilnya. Tujuannya bukan untuk menampilkan kompleksitas, melainkan menyembunyikannya di balik pengalaman yang sederhana.
Hasilnya adalah sistem yang terasa adaptif. Anda mengajukan pertanyaan, dan sistem mencari cara menjawabnya dengan cara yang paling efisien. Semangatnya sangat dekat dengan apa yang diusulkan MOE pada tingkat model, tetapi diterapkan pada tingkat sistem.
AGI belum hadir. Namun, gagasan seperti MOE menunjukkan bahwa jalan ke depan bukan hanya soal skala. Ini tentang struktur, koordinasi, dan penggunaan sumber daya yang lebih cerdas.
Jika Anda penasaran seperti apa pendekatan semacam ini dalam praktiknya, Anda dapat mencoba Dvina secara gratis di https://dvina.ai. Ini belum AGI, tetapi memberi gambaran kecil tentang bagaimana sistem AI masa depan mungkin berpikir dan beroperasi.
