Ito ay isang kapana-panabik na sandali para sa artificial intelligence. Sa mahabang panahon, ang pag-unlad sa AI ay sumunod sa isang simpleng tuntunin: palakihin ang mga modelo. Mas maraming parameter, mas maraming data, mas maraming compute. Umeepekto ito, pero nagdulot din ito ng malulubhang problema. Magastos, mabagal, at kumokonsumo ng napakalaking enerhiya ang pagsasanay ng malalaking modelo.
Kamakailan, nagpakilala ang Nvidia ng ibang ideya na tinatawag na Mixture of Experts, o MOE. Sa halip na i-activate ang buong neural network para sa bawat gawain, natututo ang modelo na pumili kung aling mga bahagi ng sistema ang talagang kailangan. Ang bawat bahagi ay kumikilos na parang eksperto sa isang partikular na larangan. Para sa anumang tanong, ang pinakaangkop na mga eksperto lamang ang ginagamit.
Dahil dito, nagiging mas episyente at mas flexible ang sistema. Katulad ito ng paraan ng pagtatrabaho ng mga tao. Hindi mo hinihingan ng tulong ang bawat taong kilala mo sa bawat problema. Lumalapit ka sa mga pinakaangkop para sa sitwasyong iyon. Sa MOE, puwedeng maging mas matalino ang mga AI system nang hindi nagiging sobrang mabigat.
Maraming mananaliksik ang naniniwalang mahalaga ang direksiyong ito para sa pangmatagalang layunin ng Artificial General Intelligence, o AGI. Ang sistemang kayang humawak ng maraming iba’t ibang uri ng problema ay nangangailangan ng higit pa sa laki lamang. Kailangan nito ng pagdedesisyon. Kailangan nitong malaman kung aling mga kakayahan ang gagamitin at kung kailan.
Hindi lang sa mga research paper umiikot ang ideyang ito.
Sa katunayan, matagal na kaming gumagawa gamit ang kahalintulad na diskarte sa Dvina. Mula pa sa simula, ipinagpalagay namin na walang iisang language model o tool na magiging mahusay sa lahat ng bagay. Sa halip na umasa sa iisang modelo, bumuo kami ng orchestrator layer na nakapatong sa maraming modelo, tool, at data source.
Gumagana ang orchestrator na ito bilang decision layer. Kapag may itinanong ang isang user, nagpapasya ito kung aling modelo o resource ang dapat gamitin. Minsan isa lang ang ginagamit nito. Minsan naman pinagsasama nito ang ilan at pinag-iisa ang mga resulta. Ang layunin ay hindi ipakita ang pagiging komplikado, kundi itago ito sa likod ng isang simpleng karanasan.
Ang resulta ay isang sistemang tila umaangkop. Nagtatanong ka, at inaalam ng sistema kung paano ito sasagutin sa pinakaepisyenteng paraan. Napakalapit nito sa diwa ng iminumungkahi ng MOE sa antas ng modelo, pero inilapat sa antas ng sistema.
Hindi pa dumarating ang AGI. Pero ipinapakita ng mga ideyang tulad ng MOE na ang susunod na hakbang ay hindi lang tungkol sa scale. Tungkol ito sa istruktura, koordinasyon, at mas matalinong paggamit ng mga resource.
Kung gusto mong makita kung ano ang pakiramdam ng ganitong uri ng diskarte sa aktuwal na paggamit, maaari mong subukan ang Dvina nang libre sa https://dvina.ai. Hindi pa ito AGI, pero nagbibigay ito ng munting sulyap sa kung paano maaaring mag-isip at gumana ang mga AI system sa hinaharap.
