Este un moment interesant pentru inteligența artificială. Multă vreme, progresul în AI a urmat o regulă simplă: fă modelele mai mari. Mai mulți parametri, mai multe date, mai multă putere de calcul. A funcționat, dar a creat și probleme serioase. Antrenarea modelelor mari este costisitoare, lentă și consumă o cantitate uriașă de energie.
Recent, Nvidia a introdus o idee diferită numită Mixture of Experts, sau MOE. În loc să activeze întreaga rețea neuronală pentru fiecare sarcină, modelul învață să aleagă ce părți ale sistemului sunt de fapt necesare. Fiecare parte acționează ca un expert într-un domeniu specific. Pentru orice întrebare dată, sunt folosiți doar cei mai relevanți experți.
Acest lucru face sistemul mai eficient și mai flexibil. Este similar cu modul în care lucrează oamenii. Nu ceri ajutorul fiecărei persoane pe care o cunoști pentru fiecare problemă. Le întrebi pe cele care sunt cele mai potrivite pentru situația respectivă. Cu MOE, sistemele AI pot deveni mai inteligente fără să devină inutil de greoaie.
Mulți cercetători cred că această direcție este importantă pentru obiectivul pe termen lung al Inteligenței Artificiale Generale, sau AGI. Un sistem care poate gestiona multe tipuri diferite de probleme are nevoie de mai mult decât dimensiune brută. Are nevoie de luare a deciziilor. Trebuie să știe ce capabilități să folosească și când.
Această idee nu se limitează la lucrări de cercetare.
De fapt, noi lucrăm de ceva timp cu o abordare similară în Dvina. Încă de la început, am presupus că niciun model lingvistic sau instrument unic nu va fi bun la toate. În loc să ne bazăm pe un singur model, am construit un strat de orchestrare care se află deasupra mai multor modele, instrumente și surse de date.
Acest orchestrator funcționează ca un strat decizional. Când un utilizator pune o întrebare, el decide ce model sau resursă ar trebui folosită. Uneori folosește unul. Alteori combină mai multe și reunește rezultatele. Scopul nu este să arate complexitatea, ci să o ascundă în spatele unei experiențe simple.
Rezultatul este un sistem care pare adaptiv. Pui o întrebare, iar sistemul își dă seama cum să răspundă în modul cel mai eficient. Acest lucru este foarte apropiat, ca spirit, de ceea ce propune MOE la nivel de model, dar aplicat la nivel de sistem.
AGI nu a sosit încă. Dar idei precum MOE arată că drumul înainte nu ține doar de scală. Ține de structură, coordonare și de o utilizare mai inteligentă a resurselor.
Dacă ești curios cum se simte în practică acest tip de abordare, poți încerca gratuit Dvina la https://dvina.ai. Nu este AGI, dar oferă o mică privire asupra modului în care sistemele AI ale viitorului ar putea gândi și funcționa.
