人工知能にとって、今は興味深い時期です。長いあいだ、AIの進歩はシンプルなルールに従ってきました。モデルをより大きくすることです。パラメータを増やし、データを増やし、計算資源を増やす。この方法は機能しましたが、深刻な問題も生みました。大規模モデルの学習にはコストがかかり、時間もかかり、膨大なエネルギーを消費します。
最近、NvidiaはMixture of Experts、つまりMOEと呼ばれる別の考え方を打ち出しました。あらゆるタスクでニューラルネットワーク全体を動かすのではなく、モデルがシステムのどの部分が実際に必要かを選ぶよう学習するのです。それぞれの部分は、特定の領域に特化した専門家のように機能します。どんな質問に対しても、使われるのは最も関連性の高い専門家だけです。
これにより、システムはより効率的になり、柔軟性も高まります。これは人の働き方にも似ています。どんな問題でも、知っている全員に助けを求めるわけではありません。その状況に最も適した人に頼みます。MOEによって、AIシステムは不必要に重くなることなく、より賢く成長できます。
多くの研究者は、この方向性がArtificial General Intelligence、すなわちAGIという長期的な目標にとって重要だと考えています。さまざまな種類の問題に対応できるシステムには、単なる規模の大きさ以上のものが必要です。意思決定が必要です。どの能力をいつ使うべきかを理解している必要があります。
この考え方は、研究論文の中だけにとどまりません。
実際、私たちはDvinaでこれに近いアプローチに取り組んできました。私たちは当初から、単一の言語モデルやツールがあらゆることに優れているわけではないと考えていました。そこで、ひとつのモデルに依存するのではなく、複数のモデル、ツール、データソースの上に載るオーケストレーター層を構築しました。
このオーケストレーターは、意思決定レイヤーとして機能します。ユーザーが質問すると、どのモデルやリソースを使うべきかを判断します。ひとつだけ使うこともあれば、いくつかを組み合わせて結果を統合することもあります。目指しているのは複雑さを見せることではなく、それをシンプルな体験の裏側に隠すことです。
その結果、適応的に感じられるシステムになります。質問すると、システムが最も効率的な方法でどう答えるべきかを見極めます。これは、モデルレベルでMOEが提案していることと精神的には非常に近く、それをシステムレベルに適用したものです。
AGIはまだ実現していません。しかし、MOEのような考え方は、前進の道が単なるスケールの拡大だけではないことを示しています。重要なのは、構造、協調、そしてリソースをより賢く使うことです。
If you are curious what this kind of approach feels like in practice, you can try Dvina for free at https://dvina.ai. It is not AGI, but it gives a small glimpse into how future AI systems may think and operate.
