C’est un moment intéressant pour l’intelligence artificielle. Pendant longtemps, les progrès de l’IA ont suivi une règle simple : rendre les modèles plus grands. Plus de paramètres, plus de données, plus de puissance de calcul. Cela a fonctionné, mais cela a aussi créé de sérieux problèmes. L’entraînement de grands modèles est coûteux, lent et consomme une énorme quantité d’énergie.
Récemment, Nvidia a présenté une idée différente appelée Mixture of Experts, ou MOE. Au lieu d’activer l’ensemble du réseau neuronal pour chaque tâche, le modèle apprend à choisir quelles parties du système sont réellement nécessaires. Chaque partie agit comme un expert dans un domaine spécifique. Pour une question donnée, seuls les experts les plus pertinents sont utilisés.
Cela rend le système plus efficace et plus flexible. C’est similaire à la façon dont les gens travaillent. Vous ne demandez pas de l’aide à toutes les personnes que vous connaissez pour chaque problème. Vous sollicitez celles qui sont les mieux adaptées à la situation. Avec le MOE, les systèmes d’IA peuvent devenir plus intelligents sans s’alourdir inutilement.
De nombreux chercheurs estiment que cette orientation est importante pour l’objectif à long terme de l’intelligence artificielle générale, ou AGI. Un système capable de traiter de nombreux types de problèmes différents a besoin de plus que de la simple puissance brute. Il a besoin de capacité de décision. Il doit savoir quelles capacités utiliser, et à quel moment.
Cette idée ne se limite pas aux articles de recherche.
En réalité, nous travaillons avec une approche similaire dans Dvina. Dès le départ, nous avons supposé qu’aucun modèle de langage ni aucun outil ne serait excellent en tout. Au lieu de nous appuyer sur un seul modèle, nous avons construit une couche d’orchestration qui s’appuie sur plusieurs modèles, outils et sources de données.
Cet orchestrateur fonctionne comme une couche de décision. Lorsqu’un utilisateur pose une question, il décide quel modèle ou quelle ressource doit être utilisé. Parfois, il n’en utilise qu’un. Parfois, il en combine plusieurs et fusionne les résultats. L’objectif n’est pas de montrer la complexité, mais de la masquer derrière une expérience simple.
Le résultat est un système qui semble adaptatif. Vous posez une question, et le système détermine comment y répondre de la manière la plus efficace. C’est très proche, dans l’esprit, de ce que propose le MOE au niveau du modèle, mais appliqué au niveau du système.
L’AGI n’est pas encore arrivée. Mais des idées comme le MOE montrent que la voie à suivre ne repose pas uniquement sur l’échelle. Elle repose sur la structure, la coordination et une utilisation plus intelligente des ressources.
Si vous êtes curieux de voir concrètement ce que donne ce type d’approche, vous pouvez essayer Dvina gratuitement sur https://dvina.ai. Ce n’est pas l’AGI, mais cela offre un petit aperçu de la manière dont les futurs systèmes d’IA pourraient penser et fonctionner.
