Nvidia 的 MOE、通往 AGI 的路径,以及 Dvina 如何让你今天就体验明日 AI

许多研究者认为,这一方向对实现人工通用智能(AGI)的长期目标至关重要。一个能够处理多种不同问题的系统,不能只靠规模堆砌。它需要决策能力。它需要知道该在何时调用哪些能力。

这是人工智能发展中一个很有意思的时刻。很长一段时间里,AI 的进步遵循着一条简单规则:把模型做得更大。更多参数、更多数据、更多算力。这种方法确实有效,但也带来了严重问题。训练大型模型成本高、速度慢,而且会消耗大量能源。

最近,Nvidia 提出了一种不同的思路,叫作 Mixture of Experts,也就是 MOE。它不再是在每个任务上都激活整个神经网络,而是让模型学会选择系统中真正需要的部分。每个部分都像是在某个特定领域中的专家。面对任何一个具体问题时,系统只会调用最相关的那些专家。

这让系统更高效,也更灵活。这和人类的工作方式很相似。你不会在每个问题上都向你认识的所有人求助,而是会去找最适合当前情况的人。借助 MOE,AI 系统可以在不变得臃肿的前提下变得更聪明。

许多研究者认为,这一方向对实现人工通用智能,也就是 AGI 的长期目标至关重要。一个能够处理多种不同问题的系统,不能只靠规模堆砌。它需要决策能力。它需要知道该在何时调用哪些能力。

这一思路并不只存在于研究论文中。

事实上,我们在 Dvina 中一直采用着类似的方法。从一开始,我们就认为,没有任何单一的语言模型或工具能够样样精通。我们没有依赖某一个模型,而是构建了一层编排器,位于多个模型、工具和数据源之上。

这个编排器充当决策层。当用户提出问题时,它会决定应该使用哪个模型或资源。有时只用一个;有时会组合多个,并将结果合并。目标不是展示复杂性,而是把复杂性隐藏在简洁的体验背后。

最终形成的是一个让人感觉具备适应性的系统。你提出问题,系统会自行判断如何以最高效的方式作答。从理念上看,这与 MOE 在模型层面提出的思路非常接近,只不过这里应用在系统层面。

AGI 还没有到来。但像 MOE 这样的思路表明,前进的道路并不只是扩大规模。更关键的是结构、协同,以及更聪明地利用资源。

If you are curious what this kind of approach feels like in practice, you can try Dvina for free at https://dvina.ai. It is not AGI, but it gives a small glimpse into how future AI systems may think and operate.

加入 Dvina

免费注册,把你所有工具整合到一个简洁的工作空间中。

探索更多


© Dvina Inc. - San Francisco, CA

我们仅收集保障服务顺畅运行所必需的分析数据。