O MOE da Nvidia e o caminho para a AGI & como a Dvina traz a IA de amanhã para você hoje

Ömer Odabaş
3 min de leitura • 
Muitos pesquisadores acreditam que essa direção é importante para o objetivo de longo prazo de alcançar a inteligência artificial geral, ou AGI. Um sistema capaz de lidar com muitos tipos diferentes de problemas precisa de mais do que tamanho. Precisa ser capaz de tomar decisões. Precisa saber quais capacidades usar e quando.

Este é um momento interessante para a inteligência artificial. Durante muito tempo, o progresso da IA seguiu uma regra simples: criar modelos maiores. Mais parâmetros, mais dados, mais poder computacional. Isso funcionou, mas também criou problemas sérios. Treinar modelos grandes é caro, lento e consome uma enorme quantidade de energia.

Recentemente, a Nvidia apresentou uma ideia diferente chamada Mixture of Experts, ou MOE. Em vez de ativar toda a rede neural para cada tarefa, o modelo aprende a escolher quais partes do sistema são realmente necessárias. Cada parte atua como um especialista em uma área específica. Para cada pergunta, apenas os especialistas mais relevantes são usados.

Isso torna o sistema mais eficiente e mais flexível. É parecido com a forma como as pessoas trabalham. Você não pede ajuda a todas as pessoas que conhece para resolver cada problema. Recorre às mais indicadas para aquela situação. Com o MOE, os sistemas de IA podem se tornar mais inteligentes sem ficarem desnecessariamente pesados.

Muitos pesquisadores acreditam que essa direção é importante para o objetivo de longo prazo de alcançar a inteligência artificial geral, ou AGI. Um sistema capaz de lidar com muitos tipos diferentes de problemas precisa de mais do que tamanho. Precisa ser capaz de tomar decisões. Precisa saber quais capacidades usar e quando.

Essa ideia não se limita a artigos de pesquisa.

Na verdade, temos trabalhado com uma abordagem semelhante na Dvina. Desde o início, partimos do princípio de que nenhum modelo de linguagem ou ferramenta seria bom em tudo. Em vez de depender de um único modelo, construímos uma camada de orquestração sobre vários modelos, ferramentas e fontes de dados.

Esse orquestrador funciona como uma camada de decisão. Quando um usuário faz uma pergunta, ele decide qual modelo ou recurso deve ser usado. Às vezes, usa apenas um. Às vezes, combina vários e reúne os resultados. O objetivo não é mostrar a complexidade, mas escondê-la por trás de uma experiência simples.

O resultado é um sistema que parece se adaptar. Você faz uma pergunta, e o sistema descobre como respondê-la da forma mais eficiente. Em essência, isso é muito próximo do que o MOE propõe no nível do modelo, mas aplicado no nível do sistema.

A AGI ainda não chegou. Mas ideias como o MOE mostram que o caminho a seguir não se resume à escala. Envolve estrutura, coordenação e um uso mais inteligente dos recursos.

Se você tem curiosidade de saber como é usar esse tipo de abordagem na prática, pode experimentar a Dvina gratuitamente em https://dvina.ai. Não é AGI, mas oferece uma pequena amostra de como os sistemas de IA do futuro podem pensar e operar.

Junte-se à Dvina

Cadastre-se grátis e reúna todas as suas ferramentas em um espaço de trabalho simples.

Explore mais