Det er et interessant øjeblik for kunstig intelligens. I lang tid fulgte fremskridt inden for AI en enkel regel: gør modellerne større. Flere parametre, mere data, mere regnekraft. Det virkede, men det skabte også alvorlige problemer. Træning af store modeller er dyrt, langsomt og bruger enorme mængder energi.
For nylig introducerede Nvidia en anden idé kaldet Mixture of Experts, eller MOE. I stedet for at aktivere hele det neurale netværk for hver opgave lærer modellen at vælge, hvilke dele af systemet der faktisk er nødvendige. Hver del fungerer som en ekspert inden for et bestemt område. For et givent spørgsmål bruges kun de mest relevante eksperter.
Det gør systemet mere effektivt og mere fleksibelt. Det minder om, hvordan mennesker arbejder. Du beder ikke alle, du kender, om hjælp til hvert eneste problem. Du spørger dem, der passer bedst til den konkrete situation. Med MOE kan AI-systemer blive klogere uden at blive unødigt tunge.
Mange forskere mener, at denne retning er vigtig for det langsigtede mål om Artificial General Intelligence, eller AGI. Et system, der kan håndtere mange forskellige typer problemer, har brug for mere end blot rå størrelse. Det har brug for beslutningstagning. Det skal vide, hvilke evner det skal bruge, og hvornår.
Denne idé er ikke begrænset til forskningsartikler.
Faktisk har vi arbejdet med en lignende tilgang i Dvina. Fra begyndelsen antog vi, at ingen enkelt sprogmodel eller intet enkelt værktøj ville være god til alting. I stedet for at stole på én model byggede vi et orkestratorlag, der ligger oven på flere modeller, værktøjer og datakilder.
Denne orkestrator fungerer som et beslutningslag. Når en bruger stiller et spørgsmål, afgør den, hvilken model eller ressource der skal bruges. Nogle gange bruger den én. Nogle gange kombinerer den flere og samler resultaterne. Målet er ikke at vise kompleksiteten frem, men at skjule den bag en enkel oplevelse.
Resultatet er et system, der føles adaptivt. Du stiller et spørgsmål, og systemet finder ud af, hvordan det kan besvare det på den mest effektive måde. Det ligger meget tæt på ånden i det, MOE foreslår på modelniveau, men anvendt på systemniveau.
AGI er ikke ankommet endnu. Men idéer som MOE viser, at vejen frem ikke kun handler om skala. Den handler om struktur, koordinering og en klogere brug af ressourcer.
Hvis du er nysgerrig efter, hvordan denne type tilgang føles i praksis, kan du prøve Dvina gratis på https://dvina.ai. Det er ikke AGI, men det giver et lille glimt af, hvordan fremtidens AI-systemer kan tænke og fungere.
