Сейчас для искусственного интеллекта наступил интересный момент. Долгое время прогресс в ИИ следовал простому правилу: делать модели больше. Больше параметров, больше данных, больше вычислительных ресурсов. Это работало, но одновременно создавало и серьезные проблемы. Обучение крупных моделей обходится дорого, идет медленно и потребляет огромное количество энергии.
Недавно Nvidia представила другую идею под названием Mixture of Experts, или MOE. Вместо того чтобы активировать всю нейросеть для каждой задачи, модель учится выбирать, какие части системы действительно нужны. Каждая часть выступает как эксперт в определенной области. Для любого конкретного вопроса используются только наиболее релевантные эксперты.
Это делает систему более эффективной и более гибкой. Это похоже на то, как работают люди. Вы не просите каждого знакомого помочь с любой проблемой. Вы обращаетесь к тем, кто лучше всего подходит для конкретной ситуации. Благодаря MOE системы ИИ могут становиться умнее, не становясь при этом неоправданно громоздкими.
Многие исследователи считают это направление важным для долгосрочной цели — Artificial General Intelligence, или AGI. Система, способная справляться со множеством разных типов задач, нуждается не только в масштабе. Ей нужна способность принимать решения. Ей нужно понимать, какие возможности использовать и когда.
Эта идея не ограничивается научными статьями.
На самом деле мы работаем с похожим подходом в Dvina. С самого начала мы исходили из того, что ни одна языковая модель или инструмент не могут быть одинаково хороши во всем. Вместо того чтобы полагаться на одну модель, мы создали оркестраторный слой, который находится поверх нескольких моделей, инструментов и источников данных.
Этот оркестратор работает как слой принятия решений. Когда пользователь задает вопрос, он определяет, какую модель или какой ресурс следует использовать. Иногда он использует что-то одно. Иногда объединяет несколько вариантов и сводит результаты вместе. Цель не в том, чтобы демонстрировать сложность, а в том, чтобы скрыть ее за простым пользовательским опытом.
В результате получается система, которая ощущается адаптивной. Вы задаете вопрос, а система сама понимает, как ответить на него наиболее эффективным способом. По духу это очень близко к тому, что MOE предлагает на уровне модели, только применено на уровне системы.
AGI пока не наступил. Но такие идеи, как MOE, показывают, что путь вперед связан не только с масштабом. Он связан со структурой, координацией и более разумным использованием ресурсов.
Если вам интересно, как такой подход ощущается на практике, вы можете бесплатно попробовать Dvina на https://dvina.ai. Это не AGI, но дает небольшое представление о том, как будущие системы ИИ могут мыслить и работать.
