Det är en intressant tid för artificiell intelligens. Länge följde utvecklingen inom AI en enkel regel: gör modellerna större. Fler parametrar, mer data, mer beräkningskraft. Det fungerade, men skapade också allvarliga problem. Att träna stora modeller är dyrt, tar lång tid och förbrukar enorma mängder energi.
Nyligen introducerade Nvidia en annan idé som kallas Mixture of Experts, eller MOE. I stället för att aktivera hela det neurala nätverket för varje uppgift lär sig modellen att välja vilka delar av systemet som faktiskt behövs. Varje del fungerar som en expert inom ett visst område. För varje fråga används bara de mest relevanta experterna.
Det gör systemet effektivare och mer flexibelt. Det liknar hur människor arbetar. Du ber inte alla du känner om hjälp med varje problem. Du frågar dem som är bäst lämpade för just den situationen. Med MOE kan AI-system bli smartare utan att bli onödigt tunga.
Många forskare anser att den här inriktningen är viktig för det långsiktiga målet att uppnå artificiell generell intelligens, eller AGI. Ett system som kan hantera många olika slags problem behöver mer än bara storlek. Det behöver kunna fatta beslut. Det behöver veta vilka förmågor det ska använda och när.
Den här idén finns inte bara i forskningsartiklar.
Vi har faktiskt arbetat med ett liknande tillvägagångssätt i Dvina. Redan från början utgick vi från att ingen enskild språkmodell och inget enskilt verktyg skulle vara bra på allt. I stället för att förlita oss på en modell byggde vi ett orkestreringslager ovanpå flera modeller, verktyg och datakällor.
Det här orkestreringslagret fungerar som ett beslutslager. När en användare ställer en fråga avgör det vilken modell eller resurs som ska användas. Ibland använder det bara en. Ibland kombinerar det flera och sammanför resultaten. Målet är inte att visa upp komplexiteten, utan att dölja den bakom en enkel användarupplevelse.
Resultatet är ett system som känns anpassningsbart. Du ställer en fråga, och systemet avgör hur det ska besvara den på det mest effektiva sättet. Grundtanken ligger mycket nära det som MOE föreslår på modellnivå, men här tillämpas den på systemnivå.
AGI är inte här än. Men idéer som MOE visar att vägen framåt inte bara handlar om skala. Den handlar om struktur, samordning och smartare användning av resurser.
Om du är nyfiken på hur det här tillvägagångssättet känns i praktiken kan du prova Dvina gratis på https://dvina.ai. Det är inte AGI, men det ger en liten glimt av hur framtidens AI-system kan tänka och fungera.
