Bu sun’iy intellekt uchun qiziqarli bir davr. Uzoq vaqt davomida AI’dagi taraqqiyot oddiy bir qoida bo‘yicha kechdi: modellarni kattalashtirish. Ko‘proq parametrlar, ko‘proq ma’lumot, ko‘proq hisoblash quvvati. Bu ishladi, ammo jiddiy muammolarni ham keltirib chiqardi. Katta modellarni o‘qitish qimmat, sekin va juda katta miqdorda energiya sarflaydi.
Yaqinda Nvidia Mixture of Experts, ya’ni MOE deb ataladigan boshqacha bir g‘oyani taqdim etdi. Har bir vazifa uchun butun neyron tarmoqni faollashtirish o‘rniga, model tizimning aynan qaysi qismlari kerakligini tanlashni o‘rganadi. Har bir qism ma’lum bir sohada ekspert kabi ishlaydi. Muayyan savol uchun faqat eng mos ekspertlardan foydalaniladi.
Bu tizimni samaraliroq va moslashuvchanroq qiladi. Bu odamlar qanday ishlashiga o‘xshaydi. Siz har bir muammo bo‘yicha tanigan barcha odamlardan yordam so‘ramaysiz. Shu vaziyatga eng mos keladiganlardan so‘raysiz. MOE yordamida AI tizimlari keragidan ortiqcha og‘irlashmasdan aqlliroq bo‘lib borishi mumkin.
Ko‘plab tadqiqotchilar bu yo‘nalishni Sun’iy Umumiy Intellekt, ya’ni AGI’ning uzoq muddatli maqsadi uchun muhim deb hisoblaydi. Turli xil muammolarni hal qila oladigan tizimga shunchaki katta hajmning o‘zi yetmaydi. Unga qaror qabul qilish qobiliyati kerak. Qaysi imkoniyatlardan qachon foydalanishni bilishi kerak.
Bu g‘oya faqat tadqiqot maqolalari bilan cheklanmaydi.
Aslida, biz Dvina’da shunga o‘xshash yondashuv bilan ishlab kelmoqdamiz. Boshidanoq shuni taxmin qilgandik: hech bir yagona til modeli yoki vosita hamma narsada birdek yaxshi bo‘la olmaydi. Bitta modelga tayanish o‘rniga, biz bir nechta modellar, vositalar va ma’lumot manbalari ustida ishlaydigan orkestrator qatlamini qurdik.
Bu orkestrator qaror qabul qiluvchi qatlam sifatida ishlaydi. Foydalanuvchi savol berganda, u qaysi model yoki resursdan foydalanish kerakligini hal qiladi. Ba’zan bittasidan foydalanadi. Ba’zan bir nechtasini birlashtirib, natijalarni qo‘shadi. Maqsad murakkablikni ko‘rsatish emas, balki uni sodda tajriba ortiga yashirishdir.
Natijada moslashuvchan tuyuladigan tizim paydo bo‘ladi. Siz savol berasiz, tizim esa unga eng samarali yo‘l bilan qanday javob berishni o‘zi aniqlaydi. Mazmunan bu MOE model darajasida taklif qilayotgan narsaga juda yaqin, faqat tizim darajasida qo‘llangan.
AGI hali yetib kelgani yo‘q. Ammo MOE kabi g‘oyalar oldinga yo‘l faqat masshtab haqida emasligini ko‘rsatadi. Gap tuzilma, muvofiqlashtirish va resurslardan yanada aqlliroq foydalanishda.
If you are curious what this kind of approach feels like in practice, you can try Dvina for free at https://dvina.ai. It is not AGI, but it gives a small glimpse into how future AI systems may think and operate.
