Искусственный интеллект сейчас переживает интересный этап. Долгое время прогресс в ИИ подчинялся простому правилу: делать модели больше. Больше параметров, больше данных, больше вычислительных ресурсов. Это работало, но создавало и серьёзные проблемы. Обучение больших моделей обходится дорого, занимает много времени и требует огромного количества энергии.
Недавно Nvidia представила другую идею — «смесь экспертов» (Mixture of Experts, или MOE). Вместо того чтобы задействовать всю нейросеть для каждой задачи, модель учится выбирать те части системы, которые действительно нужны. Каждая часть выступает в роли эксперта в определённой области. Для каждого конкретного вопроса используются только наиболее подходящие эксперты.
Это делает систему эффективнее и гибче. Похожим образом действуют и люди. Вы не обращаетесь ко всем своим знакомым за помощью с каждой проблемой. Вы выбираете тех, кто лучше всего может помочь в конкретной ситуации. Благодаря MOE системы ИИ могут становиться умнее, не становясь неоправданно громоздкими.
Многие исследователи считают это направление важным для долгосрочной цели — создания общего искусственного интеллекта, или AGI. Системе, способной решать самые разные задачи, нужен не только масштаб. Ей нужно уметь принимать решения и понимать, какие возможности использовать и когда.
Эта идея существует не только в научных статьях.
Мы уже работаем с похожим подходом в Dvina. С самого начала мы исходили из того, что ни одна языковая модель и ни один инструмент не будут одинаково хороши во всём. Вместо того чтобы полагаться на одну модель, мы создали слой оркестрации, который работает поверх нескольких моделей, инструментов и источников данных.
Этот оркестратор отвечает за принятие решений. Когда пользователь задаёт вопрос, он определяет, какую модель или какой ресурс использовать. Иногда выбирает что-то одно. Иногда задействует несколько и объединяет результаты. Цель — не демонстрировать сложность, а скрыть её за простым взаимодействием с системой.
В результате система воспринимается как адаптивная. Вы задаёте вопрос, а она сама определяет, как ответить на него наиболее эффективно. По своей сути это очень близко к тому, что предлагает MOE на уровне модели, но здесь тот же подход применяется на уровне системы.
AGI пока не появился. Но такие идеи, как MOE, показывают, что путь вперёд — это не только увеличение масштаба. Это ещё и структура, координация и более разумное использование ресурсов.
Если вам интересно узнать, как такой подход работает на практике, вы можете бесплатно попробовать Dvina на https://dvina.ai. Это не AGI, но Dvina даёт небольшое представление о том, как будущие системы ИИ могут мыслить и работать.
