Dit is een interessant moment voor kunstmatige intelligentie. Lange tijd volgde de vooruitgang in AI een eenvoudige regel: maak modellen groter. Meer parameters, meer data, meer rekenkracht. Dat werkte, maar bracht ook grote problemen met zich mee. Het trainen van grote modellen is duur, gaat langzaam en verbruikt enorm veel energie.
Onlangs introduceerde Nvidia een ander idee: Mixture of Experts, oftewel MOE. In plaats van voor elke taak het volledige neurale netwerk te activeren, leert het model te kiezen welke delen van het systeem daadwerkelijk nodig zijn. Elk deel fungeert als expert op een specifiek gebied. Voor elke vraag worden alleen de meest relevante experts ingezet.
Dat maakt het systeem efficiënter en flexibeler. Het lijkt op hoe mensen werken. Je vraagt niet iedereen die je kent om hulp bij elk probleem. Je vraagt de mensen die je in die situatie het beste kunnen helpen. Met MOE kunnen AI-systemen slimmer worden zonder onnodig zwaar te worden.
Veel onderzoekers denken dat deze richting belangrijk is voor het langetermijndoel van algemene kunstmatige intelligentie, oftewel AGI. Een systeem dat veel verschillende soorten problemen aankan, heeft meer nodig dan alleen omvang. Het moet beslissingen kunnen nemen. Het moet weten welke capaciteiten het wanneer moet inzetten.
Dit idee blijft niet beperkt tot wetenschappelijke publicaties.
We werken in Dvina zelfs al met een vergelijkbare aanpak. Vanaf het begin gingen we ervan uit dat geen enkel taalmodel of hulpmiddel overal goed in zou zijn. In plaats van op één model te vertrouwen, hebben we een orchestratielaag gebouwd die boven op meerdere modellen, tools en databronnen ligt.
Deze orchestratielaag neemt de beslissingen. Wanneer een gebruiker een vraag stelt, bepaalt de laag welk model of welke bron moet worden gebruikt. Soms is dat er één. Soms worden er meerdere gecombineerd en worden de resultaten samengevoegd. Het doel is niet om de complexiteit te tonen, maar om die te verbergen achter een eenvoudige gebruikservaring.
Het resultaat is een systeem dat zich lijkt aan te passen. Je stelt een vraag en het systeem zoekt uit hoe het die zo efficiënt mogelijk kan beantwoorden. Het achterliggende idee lijkt sterk op wat MOE op modelniveau voorstelt, maar wordt hier op systeemniveau toegepast.
AGI is er nog niet. Maar ideeën zoals MOE laten zien dat de weg vooruit niet alleen om schaal draait. Het gaat om structuur, coördinatie en slimmer gebruik van middelen.
Ben je benieuwd hoe zo’n aanpak in de praktijk aanvoelt? Dan kun je Dvina gratis proberen op https://dvina.ai. Het is geen AGI, maar het biedt een klein inkijkje in hoe toekomstige AI-systemen mogelijk zullen denken en werken.
