MOE від Nvidia та шлях до AGI: як Dvina допомагає відчути майбутнє ШІ вже сьогодні

Ömer Odabaş
2 хв читання • 
Багато дослідників вважають цей напрям важливим для досягнення довгострокової мети — загального штучного інтелекту, або AGI. Системі, здатній розв’язувати найрізноманітніші завдання, потрібен не лише масштаб. Вона має вміти ухвалювати рішення й знати, які можливості використовувати і коли.

Штучний інтелект зараз переживає цікавий момент. Тривалий час прогрес у сфері ШІ спирався на просте правило: збільшувати моделі. Більше параметрів, більше даних, більше обчислювальних ресурсів. Це працювало, але водночас створювало серйозні проблеми. Навчання великих моделей коштує дорого, триває довго й споживає величезну кількість енергії.

Нещодавно Nvidia представила іншу ідею під назвою Mixture of Experts, або MOE. Замість того щоб активувати всю нейронну мережу для кожного завдання, модель вчиться вибирати ті частини системи, які справді потрібні. Кожна частина діє як експерт у певній галузі. Для кожного конкретного запитання залучаються лише ті експерти, які найкраще відповідають його темі.

Це робить систему ефективнішою та гнучкішою. Схожим чином працюють і люди. Ви ж не просите всіх своїх знайомих допомогти з кожною проблемою. Ви звертаєтеся до тих, хто найкраще може допомогти в конкретній ситуації. Завдяки MOE системи ШІ можуть ставати розумнішими, не стаючи надмірно громіздкими.

Багато дослідників вважають цей напрям важливим для досягнення довгострокової мети — загального штучного інтелекту, або AGI. Системі, здатній розв’язувати найрізноманітніші завдання, потрібен не лише масштаб. Вона має вміти ухвалювати рішення й знати, які можливості використовувати і коли.

Ця ідея не обмежується науковими статтями.

Насправді ми вже працюємо з подібним підходом у Dvina. Від самого початку ми виходили з того, що жодна окрема мовна модель чи інструмент не зможе добре впоратися з усім. Замість того щоб покладатися на одну модель, ми створили шар оркестрації, який працює поверх кількох моделей, інструментів і джерел даних.

Цей оркестратор слугує рівнем ухвалення рішень. Коли користувач ставить запитання, оркестратор визначає, яку модель або ресурс використати. Іноді обирає лише один. Іноді залучає кілька й об’єднує результати. Мета — не демонструвати складність, а приховати її, зробивши взаємодію простою.

У результаті система сприймається як адаптивна. Ви ставите запитання, а вона визначає, як відповісти на нього найефективніше. За своєю суттю це дуже близько до того, що MOE пропонує на рівні моделі, але тут цей підхід застосовано на рівні системи.

AGI ще не з’явився. Але такі ідеї, як MOE, показують, що шлях уперед — це не лише збільшення масштабу. Це структура, координація та розумніше використання ресурсів.

Якщо вам цікаво, як такий підхід працює на практиці, ви можете безкоштовно спробувати Dvina на https://dvina.ai. Це не AGI, але він дає невелике уявлення про те, як можуть мислити й працювати системи ШІ майбутнього.

Приєднуйтеся до Dvina

Зареєструйтеся безкоштовно та зберіть усі свої інструменти в одному простому робочому просторі.

Дізнатися більше