MOE de la Nvidia și drumul către AGI & cum te ajută Dvina să descoperi astăzi AI-ul de mâine

Ömer Odabaş
3 min de lectură • 
Mulți cercetători cred că această direcție este importantă pentru obiectivul pe termen lung al inteligenței artificiale generale, sau AGI. Un sistem care poate rezolva multe tipuri diferite de probleme are nevoie de mai mult decât dimensiuni mari. Trebuie să poată lua decizii. Trebuie să știe ce capacități să folosească și când.

Este un moment interesant pentru inteligența artificială. Multă vreme, progresul în AI a urmat o regulă simplă: creează modele mai mari. Mai mulți parametri, mai multe date, mai multă putere de calcul. Această abordare a funcționat, dar a creat și probleme serioase. Antrenarea modelelor mari este costisitoare, durează mult și consumă o cantitate uriașă de energie.

Recent, Nvidia a introdus o idee diferită, numită Mixture of Experts, sau MOE. În loc să activeze întreaga rețea neuronală pentru fiecare sarcină, modelul învață să aleagă părțile sistemului de care este cu adevărat nevoie. Fiecare parte acționează ca un expert într-un anumit domeniu. Pentru fiecare întrebare, sunt folosiți doar experții cei mai relevanți.

Astfel, sistemul devine mai eficient și mai flexibil. Seamănă cu modul în care lucrează oamenii. Nu ceri ajutorul tuturor celor pe care îi cunoști pentru fiecare problemă. Apelezi la cei mai potriviți pentru situația respectivă. Cu MOE, sistemele AI pot deveni mai inteligente fără să devină inutil de greoaie.

Mulți cercetători cred că această direcție este importantă pentru obiectivul pe termen lung al inteligenței artificiale generale, sau AGI. Un sistem care poate rezolva multe tipuri diferite de probleme are nevoie de mai mult decât dimensiuni mari. Trebuie să poată lua decizii. Trebuie să știe ce capacități să folosească și când.

Această idee nu se limitează la lucrările de cercetare.

De fapt, în Dvina lucrăm deja cu o abordare similară. Încă de la început, am pornit de la premisa că niciun model lingvistic și niciun instrument nu se vor pricepe la toate. În loc să ne bazăm pe un singur model, am construit un strat de orchestrare deasupra mai multor modele, instrumente și surse de date.

Acest orchestrator funcționează ca un strat decizional. Când un utilizator pune o întrebare, decide ce model sau ce resursă să folosească. Uneori folosește un singur model sau o singură resursă. Alteori combină mai multe și reunește rezultatele. Scopul nu este să scoată la iveală complexitatea, ci să o ascundă în spatele unei experiențe simple.

Rezultatul este un sistem care se simte adaptabil în utilizare. Pui o întrebare, iar sistemul stabilește cum să răspundă cât mai eficient. În esență, această abordare este foarte apropiată de ceea ce propune MOE la nivel de model, dar este aplicată la nivel de sistem.

AGI nu este încă o realitate. Dar idei precum MOE arată că drumul înainte nu ține doar de dimensiuni. Ține de structură, coordonare și o utilizare mai inteligentă a resurselor.

Dacă ești curios cum funcționează în practică o astfel de abordare, poți încerca Dvina gratuit la https://dvina.ai. Nu este AGI, dar îți oferă o mică perspectivă asupra modului în care sistemele AI din viitor ar putea gândi și funcționa.

Alătură-te Dvina

Înscrie-te gratuit și reunește toate instrumentele tale într-un singur spațiu de lucru simplu.

Descoperă mai multe