Nvidia 的 MOE 與通往 AGI 之路:Dvina 如何讓你今天就體驗未來的 AI

Ömer Odabaş
閱讀時間 1 分鐘 • 
許多研究人員認為,這個方向對於實現通用人工智慧(AGI)這項長期目標很重要。要處理各種不同的問題,系統不能只靠規模。它需要具備決策能力,知道何時該運用哪些能力。

人工智慧正處於一個值得關注的時刻。長期以來,AI 的進展遵循一條簡單的規則:把模型做得更大。更多參數、更多資料、更多運算資源。這個方法確實有效,卻也帶來了嚴重的問題。訓練大型模型成本高、耗時長,還會消耗大量能源。

最近,Nvidia 提出了一個不同的概念,稱為 Mixture of Experts,簡稱 MOE。模型不再為每項任務啟動整個神經網路,而是學會選擇系統中真正需要的部分。每個部分都像是特定領域的專家。面對任何問題,模型只會使用最相關的專家。

這讓系統更有效率,也更有彈性,與人們的做事方式很相似。你不會遇到每個問題都向所有認識的人求助,而是會找最適合處理當下情況的人。透過 MOE,AI 系統可以變得更聰明,而不必變得過於龐大。

許多研究人員認為,這個方向對於實現通用人工智慧(AGI)這項長期目標很重要。要處理各種不同的問題,系統不能只靠規模。它需要具備決策能力,知道何時該運用哪些能力。

這個想法不只存在於研究論文中。

事實上,我們一直在 Dvina 中採用類似的方法。從一開始,我們就認為,沒有任何單一語言模型或工具能夠樣樣精通。因此,我們沒有依賴單一模型,而是在多個模型、工具和資料來源之上,建立了一個協調層。

這個協調層負責決策。當使用者提出問題時,它會決定該使用哪個模型或資源。有時只使用一個,有時則結合多個,並整合結果。目標不是展示複雜性,而是讓使用者透過簡單的體驗,不必面對背後的複雜運作。

結果是一個讓人感覺能靈活應變的系統。你提出問題,系統就會找出最有效率的回答方式。這與 MOE 在模型層級提出的理念非常接近,只是將它應用在系統層級。

AGI 尚未到來。但 MOE 這類想法顯示,未來的發展不只是擴大規模,也關乎結構、協調,以及更聰明地運用資源。

If you are curious what this kind of approach feels like in practice, you can try Dvina for free at https://dvina.ai. It is not AGI, but it gives a small glimpse into how future AI systems may think and operate.

加入 Dvina

免費註冊,將你的所有工具整合到一個簡單的工作空間。

探索更多