Dette er et interessant øyeblikk for kunstig intelligens. I lang tid fulgte fremgangen innen AI en enkel regel: gjør modellene større. Flere parametere, mer data, mer regnekraft. Dette fungerte, men det skapte også alvorlige problemer. Trening av store modeller er dyrt, tregt og bruker enorme mengder energi.
Nylig introduserte Nvidia en annen idé kalt Mixture of Experts, eller MOE. I stedet for å aktivere hele det nevrale nettverket for hver oppgave, lærer modellen å velge hvilke deler av systemet som faktisk trengs. Hver del fungerer som en ekspert på et bestemt område. For et gitt spørsmål brukes bare de mest relevante ekspertene.
Dette gjør systemet mer effektivt og mer fleksibelt. Det ligner på hvordan mennesker arbeider. Du ber ikke alle du kjenner om hjelp med hvert eneste problem. Du spør dem som passer best til den situasjonen. Med MOE kan AI-systemer bli smartere uten å bli unødvendig tunge.
Mange forskere mener at denne retningen er viktig for det langsiktige målet om Artificial General Intelligence, eller AGI. Et system som kan håndtere mange ulike typer problemer, trenger mer enn bare størrelse. Det trenger beslutningsevne. Det må vite hvilke evner det skal bruke, og når.
Denne ideen er ikke begrenset til forskningsartikler.
Faktisk har vi jobbet med en lignende tilnærming i Dvina. Helt fra starten antok vi at ingen enkelt språkmodell eller verktøy ville være god på alt. I stedet for å stole på én modell bygget vi et orkestreringslag som ligger over flere modeller, verktøy og datakilder.
Denne orkestratoren fungerer som et beslutningslag. Når en bruker stiller et spørsmål, avgjør den hvilken modell eller ressurs som bør brukes. Noen ganger bruker den én. Noen ganger kombinerer den flere og slår sammen resultatene. Målet er ikke å vise frem kompleksitet, men å skjule den bak en enkel opplevelse.
Resultatet er et system som føles tilpasningsdyktig. Du stiller et spørsmål, og systemet finner ut hvordan det kan besvare det på den mest effektive måten. Dette ligger svært nær det MOE foreslår på modellnivå, men anvendt på systemnivå.
AGI har ikke kommet ennå. Men ideer som MOE viser at veien videre ikke bare handler om skala. Den handler om struktur, koordinering og smartere bruk av ressurser.
Hvis du er nysgjerrig på hvordan denne typen tilnærming fungerer i praksis, kan du prøve Dvina gratis på https://dvina.ai. Det er ikke AGI, men det gir et lite glimt av hvordan fremtidens AI-systemer kan tenke og fungere.
