Este é um momento interessante para a inteligência artificial. Durante muito tempo, o progresso na IA seguiu uma regra simples: tornar os modelos maiores. Mais parâmetros, mais dados, mais capacidade computacional. Isto funcionou, mas também criou problemas sérios. Treinar modelos de grande dimensão é caro, lento e consome uma enorme quantidade de energia.
Recentemente, a Nvidia apresentou uma ideia diferente chamada Mixture of Experts, ou MOE. Em vez de ativar toda a rede neuronal para cada tarefa, o modelo aprende a escolher que partes do sistema são realmente necessárias. Cada parte funciona como um especialista numa área específica. Para qualquer questão, são usados apenas os especialistas mais relevantes.
Isto torna o sistema mais eficiente e mais flexível. É semelhante à forma como as pessoas trabalham. Não pede ajuda a todas as pessoas que conhece para todos os problemas. Pede-a àquelas que estão mais bem preparadas para essa situação. Com o MOE, os sistemas de IA podem tornar-se mais inteligentes sem ficarem desnecessariamente pesados.
Muitos investigadores acreditam que esta direção é importante para o objetivo de longo prazo da Inteligência Artificial Geral, ou AGI. Um sistema capaz de lidar com muitos tipos diferentes de problemas precisa de mais do que dimensão bruta. Precisa de capacidade de decisão. Precisa de saber que capacidades usar e quando.
Esta ideia não se limita aos artigos de investigação.
Na verdade, temos vindo a trabalhar com uma abordagem semelhante na Dvina. Desde o início, partimos do princípio de que nenhum modelo de linguagem ou ferramenta isolado seria bom em tudo. Em vez de depender de um único modelo, construímos uma camada de orquestração que assenta sobre vários modelos, ferramentas e fontes de dados.
Este orquestrador funciona como uma camada de decisão. Quando um utilizador faz uma pergunta, decide que modelo ou recurso deve ser utilizado. Por vezes usa um. Por vezes combina vários e funde os resultados. O objetivo não é mostrar complexidade, mas escondê-la por trás de uma experiência simples.
O resultado é um sistema que parece adaptativo. Faz uma pergunta, e o sistema percebe como lhe responder da forma mais eficiente. Isto está muito próximo, em espírito, do que o MOE propõe ao nível do modelo, mas aplicado ao nível do sistema.
A AGI ainda não chegou. Mas ideias como o MOE mostram que o caminho a seguir não passa apenas pela escala. Passa por estrutura, coordenação e uma utilização mais inteligente dos recursos.
Se tem curiosidade em saber como este tipo de abordagem funciona na prática, pode experimentar a Dvina gratuitamente em https://dvina.ai. Não é AGI, mas oferece um pequeno vislumbre de como os futuros sistemas de IA poderão pensar e operar.
