Je to zajímavý okamžik pro umělou inteligenci. Po dlouhou dobu se pokrok v AI řídil jednoduchým pravidlem: zvětšovat modely. Více parametrů, více dat, více výpočetního výkonu. Fungovalo to, ale zároveň to přineslo vážné problémy. Trénování velkých modelů je drahé, pomalé a spotřebovává obrovské množství energie.
Nedávno Nvidia představila jiný koncept nazvaný Mixture of Experts neboli MOE. Místo toho, aby se pro každý úkol aktivovala celá neuronová síť, se model učí vybírat, které části systému jsou skutečně potřeba. Každá část funguje jako expert na určitou oblast. Pro daný dotaz se použijí jen ti nejrelevantnější experti.
Díky tomu je systém efektivnější a flexibilnější. Je to podobné tomu, jak pracují lidé. Nežádáte každého, koho znáte, o pomoc s každým problémem. Obrátíte se na ty, kteří se pro danou situaci hodí nejlépe. S MOE mohou být systémy AI chytřejší, aniž by byly zbytečně těžkopádné.
Mnozí výzkumníci se domnívají, že tento směr je důležitý pro dlouhodobý cíl obecné umělé inteligence neboli AGI. Systém, který dokáže řešit mnoho různých typů problémů, potřebuje víc než jen samotnou velikost. Potřebuje rozhodování. Potřebuje vědět, které schopnosti použít a kdy.
Tato myšlenka se neomezuje jen na výzkumné články.
Ve skutečnosti jsme s podobným přístupem pracovali i v Dvina. Od začátku jsme vycházeli z toho, že žádný jednotlivý jazykový model ani nástroj nebude dobrý ve všem. Místo spoléhání na jeden model jsme vybudovali orchestraceční vrstvu, která stojí nad více modely, nástroji a datovými zdroji.
Tento orchestrátor funguje jako rozhodovací vrstva. Když uživatel položí otázku, rozhodne, který model nebo zdroj by se měl použít. Někdy použije jeden. Někdy jich zkombinuje několik a sloučí výsledky. Cílem není ukazovat složitost, ale skrýt ji za jednoduchý uživatelský zážitek.
Výsledkem je systém, který působí adaptivně. Položíte otázku a systém sám přijde na to, jak na ni odpovědět co nejefektivněji. Duchem je to velmi blízké tomu, co MOE navrhuje na úrovni modelu, jen aplikované na úroveň systému.
AGI tu ještě není. Ale myšlenky jako MOE ukazují, že cesta vpřed není jen o škálování. Je o struktuře, koordinaci a chytřejším využívání zdrojů.
Pokud vás zajímá, jak takový přístup vypadá v praxi, můžete si Dvina zdarma vyzkoušet na https://dvina.ai. Není to AGI, ale nabízí malý náhled do toho, jak mohou budoucí systémy AI přemýšlet a fungovat.
