NvidiaのMOEとAGIへの道 — Dvinaで未来のAIを今、体験する

Ömer Odabaş
読了まで1分 • 
多くの研究者は、この方向性が汎用人工知能(AGI)という長期的な目標にとって重要だと考えています。さまざまな種類の問題に対応できるシステムには、単に規模が大きいだけでは不十分です。意思決定能力が必要です。どの能力をいつ使うべきかを判断できなければなりません。

人工知能は今、興味深い時期を迎えています。長い間、AIの進歩はシンプルな原則に沿ってきました。モデルを大きくすることです。パラメータを増やし、データを増やし、計算資源を増やす。この方法は成果を上げましたが、深刻な問題も生みました。大規模モデルの学習には費用と時間がかかり、膨大なエネルギーを消費します。

最近、NvidiaはMixture of Experts(MOE)と呼ばれる、これまでとは異なる考え方を打ち出しました。タスクのたびにニューラルネットワーク全体を動かすのではなく、システムのどの部分が実際に必要なのかを選べるよう、モデルが学習します。それぞれの部分は、特定の分野の専門家のように働きます。どの質問に対しても、使われるのは最も関連性の高い専門家だけです。

これにより、システムの効率と柔軟性が高まります。人の働き方にも似ています。何か問題が起きるたびに、知り合い全員に助けを求めるわけではありません。その状況に最も適した人に頼みます。MOEを使えば、AIシステムは必要以上に重くなることなく、より賢くなれます。

多くの研究者は、この方向性が汎用人工知能(AGI)という長期的な目標にとって重要だと考えています。さまざまな種類の問題に対応できるシステムには、単に規模が大きいだけでは不十分です。意思決定能力が必要です。どの能力をいつ使うべきかを判断できなければなりません。

この考え方は、研究論文の中だけにとどまりません。

実際、私たちはDvinaで同様のアプローチに取り組んできました。当初から、ひとつの言語モデルやツールがあらゆることを得意とするわけではないと考えていました。そこで、ひとつのモデルに頼るのではなく、複数のモデル、ツール、データソースの上位に位置するオーケストレーター層を構築しました。

このオーケストレーターは、意思決定を担う層として機能します。ユーザーが質問すると、どのモデルやリソースを使うべきかを判断します。ひとつだけを使うこともあれば、複数を組み合わせて結果を統合することもあります。目指しているのは、複雑さを見せることではなく、シンプルな使い心地の裏側に隠すことです。

その結果、状況に柔軟に対応してくれると感じられるシステムになります。質問すると、システムが最も効率的な答え方を見極めます。これは、MOEがモデルレベルで提案していることと発想が非常に近く、それをシステムレベルに適用したものです。

AGIはまだ実現していません。しかし、MOEのような考え方は、今後の進歩が単なる規模の拡大だけではないことを示しています。重要なのは、構造、連携、そしてリソースをより賢く使うことです。

If you are curious what this kind of approach feels like in practice, you can try Dvina for free at https://dvina.ai. It is not AGI, but it gives a small glimpse into how future AI systems may think and operate.

Dvinaを始める

無料で登録して、すべてのツールをひとつのシンプルなワークスペースにまとめましょう。

さらに見る