Det är en intressant tid för artificiell intelligens. Under lång tid följde utvecklingen inom AI en enkel regel: gör modellerna större. Fler parametrar, mer data, mer beräkningskraft. Det fungerade, men det skapade också allvarliga problem. Att träna stora modeller är dyrt, långsamt och förbrukar enorma mängder energi.
Nyligen introducerade Nvidia en annan idé som kallas Mixture of Experts, eller MOE. I stället för att aktivera hela det neurala nätverket för varje uppgift lär sig modellen att välja vilka delar av systemet som faktiskt behövs. Varje del fungerar som en expert inom ett specifikt område. För varje given fråga används bara de mest relevanta experterna.
Det gör systemet mer effektivt och mer flexibelt. Det liknar hur människor arbetar. Du ber inte alla du känner om hjälp med varje problem. Du frågar dem som passar bäst för just den situationen. Med MOE kan AI-system bli smartare utan att bli onödigt tunga.
Många forskare anser att den här riktningen är viktig för det långsiktiga målet Artificial General Intelligence, eller AGI. Ett system som kan hantera många olika typer av problem behöver mer än bara rå storlek. Det behöver beslutsförmåga. Det behöver veta vilka förmågor som ska användas och när.
Den här idén är inte begränsad till forskningsartiklar.
Faktum är att vi har arbetat med ett liknande angreppssätt i Dvina. Redan från början utgick vi från att ingen enskild språkmodell eller inget enskilt verktyg skulle vara bra på allt. I stället för att förlita oss på en modell byggde vi ett orkestreringslager som ligger ovanpå flera modeller, verktyg och datakällor.
Det här orkestreringslagret fungerar som ett beslutslager. När en användare ställer en fråga avgör det vilken modell eller resurs som ska användas. Ibland använder det en. Ibland kombinerar det flera och sammanfogar resultaten. Målet är inte att visa upp komplexitet, utan att dölja den bakom en enkel upplevelse.
Resultatet är ett system som känns anpassningsbart. Du ställer en fråga, och systemet räknar ut hur det ska besvara den på det mest effektiva sättet. Det ligger mycket nära det som MOE föreslår på modellnivå i sin grundidé, men tillämpat på systemnivå.
AGI har ännu inte kommit. Men idéer som MOE visar att vägen framåt inte bara handlar om skala. Den handlar om struktur, samordning och smartare användning av resurser.
Om du är nyfiken på hur den här typen av angreppssätt känns i praktiken kan du prova Dvina gratis på https://dvina.ai. Det är inte AGI, men det ger en liten glimt av hur framtidens AI-system kan tänka och fungera.
