Зараз для штучного інтелекту справді цікавий момент. Довгий час прогрес у сфері AI підкорявся простому правилу: робити моделі більшими. Більше параметрів, більше даних, більше обчислювальних ресурсів. Це працювало, але водночас створювало серйозні проблеми. Навчання великих моделей дороге, повільне й споживає величезну кількість енергії.
Нещодавно Nvidia представила іншу ідею під назвою Mixture of Experts, або MOE. Замість того щоб активувати всю нейронну мережу для кожного завдання, модель навчається обирати, які саме частини системи справді потрібні. Кожна частина діє як експерт у певній сфері. Для будь-якого конкретного запитання використовуються лише найрелевантніші експерти.
Це робить систему ефективнішою та гнучкішою. Це схоже на те, як працюють люди. Ви не звертаєтеся по допомогу до кожної знайомої людини з кожною проблемою. Ви звертаєтеся до тих, хто найкраще підходить для цієї ситуації. Завдяки MOE системи AI можуть ставати розумнішими, не перетворюючись на надмірно громіздкі.
Багато дослідників вважають цей напрям важливим для довгострокової мети — Artificial General Intelligence, або AGI. Система, здатна розв’язувати багато різних типів задач, потребує більшого, ніж просто масштаб. Їй потрібне ухвалення рішень. Вона має знати, які можливості використовувати і коли.
Ця ідея не обмежується дослідницькими статтями.
Насправді ми вже працюємо з подібним підходом у Dvina. Від самого початку ми виходили з того, що жодна окрема мовна модель чи інструмент не буде однаково добре справлятися з усім. Замість того щоб покладатися на одну модель, ми побудували оркеструвальний шар, який працює поверх кількох моделей, інструментів і джерел даних.
Цей оркестратор працює як шар ухвалення рішень. Коли користувач ставить запитання, він визначає, яку модель або ресурс слід використати. Іноді він використовує щось одне. Іноді поєднує кілька варіантів і зводить результати разом. Мета не в тому, щоб показати складність, а в тому, щоб приховати її за простим досвідом використання.
У результаті виходить система, яка здається адаптивною. Ви ставите запитання, а система сама з’ясовує, як відповісти на нього найефективнішим способом. За духом це дуже близько до того, що MOE пропонує на рівні моделі, але застосовано на рівні системи.
AGI ще не настало. Але такі ідеї, як MOE, показують, що шлях уперед полягає не лише в масштабі. Йдеться про структуру, координацію та розумніше використання ресурсів.
Якщо вам цікаво, як такий підхід відчувається на практиці, ви можете безкоштовно спробувати Dvina на https://dvina.ai. Це не AGI, але дає невелике уявлення про те, як можуть мислити й працювати AI-системи майбутнього.
