Dit is een interessant moment voor kunstmatige intelligentie. Lange tijd volgde de vooruitgang in AI een eenvoudige regel: maak modellen groter. Meer parameters, meer data, meer rekenkracht. Dat werkte, maar het bracht ook serieuze problemen met zich mee. Het trainen van grote modellen is duur, traag en verbruikt enorm veel energie.
Onlangs introduceerde Nvidia een ander idee, genaamd Mixture of Experts, of MOE. In plaats van voor elke taak het volledige neurale netwerk te activeren, leert het model te kiezen welke delen van het systeem daadwerkelijk nodig zijn. Elk deel werkt als een expert op een specifiek gebied. Voor een bepaalde vraag worden alleen de meest relevante experts ingezet.
Dat maakt het systeem efficiënter en flexibeler. Het lijkt op hoe mensen werken. Je vraagt niet iedereen die je kent om hulp bij elk probleem. Je vraagt het aan degenen die het best bij die situatie passen. Met MOE kunnen AI-systemen slimmer worden zonder onnodig zwaar te worden.
Veel onderzoekers geloven dat deze richting belangrijk is voor het langetermijndoel van Artificial General Intelligence, of AGI. Een systeem dat veel verschillende soorten problemen aankan, heeft meer nodig dan alleen omvang. Het heeft besluitvorming nodig. Het moet weten welke capaciteiten het wanneer moet inzetten.
Dit idee blijft niet beperkt tot onderzoekspapers.
Sterker nog, we werken in Dvina al met een vergelijkbare aanpak. Vanaf het begin gingen we ervan uit dat geen enkel taalmodel of hulpmiddel overal goed in zou zijn. In plaats van op één model te vertrouwen, hebben we een orchestrator-laag gebouwd die boven op meerdere modellen, tools en databronnen zit.
Deze orchestrator werkt als een beslissingslaag. Wanneer een gebruiker een vraag stelt, bepaalt die welk model of welke bron moet worden gebruikt. Soms gebruikt hij er één. Soms combineert hij er meerdere en voegt de resultaten samen. Het doel is niet om complexiteit te tonen, maar om die te verbergen achter een eenvoudige ervaring.
Het resultaat is een systeem dat adaptief aanvoelt. Je stelt een vraag, en het systeem zoekt uit hoe het die op de meest efficiënte manier kan beantwoorden. Dat ligt qua gedachtegoed heel dicht bij wat MOE op modelniveau voorstelt, maar dan toegepast op systeemniveau.
AGI is er nog niet. Maar ideeën zoals MOE laten zien dat de weg vooruit niet alleen om schaal draait. Het gaat om structuur, coördinatie en slimmer gebruik van middelen.
Als je benieuwd bent hoe zo’n aanpak er in de praktijk uitziet, kun je Dvina gratis proberen op https://dvina.ai. Het is geen AGI, maar het geeft wel een kleine glimp van hoe toekomstige AI-systemen kunnen denken en functioneren.
