Nvidias MOE und der Weg zu AGI – wie Sie mit Dvina die KI von morgen schon heute erleben

Ömer Odabaş
3 Min. Lesezeit • 
Viele Forschende glauben, dass dieser Ansatz für das langfristige Ziel einer allgemeinen künstlichen Intelligenz, kurz AGI, wichtig ist. Ein System, das viele unterschiedliche Arten von Problemen bewältigen kann, braucht mehr als bloße Größe. Es muss Entscheidungen treffen können. Es muss wissen, welche Fähigkeiten es wann einsetzen sollte.

Es ist eine spannende Zeit für künstliche Intelligenz. Lange folgte der Fortschritt in der KI einer einfachen Regel: Modelle größer machen. Mehr Parameter, mehr Daten, mehr Rechenleistung. Das funktionierte, brachte aber auch ernsthafte Probleme mit sich. Das Training großer Modelle ist teuer, dauert lange und verbraucht enorme Mengen an Energie.

Vor Kurzem stellte Nvidia einen anderen Ansatz namens Mixture of Experts, kurz MOE, vor. Statt für jede Aufgabe das gesamte neuronale Netzwerk zu aktivieren, lernt das Modell auszuwählen, welche Teile des Systems tatsächlich benötigt werden. Jeder Teil fungiert als Experte für einen bestimmten Bereich. Für eine konkrete Frage werden nur die relevantesten Experten eingesetzt.

Das macht das System effizienter und flexibler. Es ähnelt der Art, wie Menschen arbeiten. Sie bitten nicht bei jedem Problem alle Menschen, die Sie kennen, um Hilfe. Sie fragen diejenigen, die für die jeweilige Situation am besten geeignet sind. Mit MOE können KI-Systeme intelligenter werden, ohne unnötig schwerfällig zu werden.

Viele Forschende glauben, dass dieser Ansatz für das langfristige Ziel einer allgemeinen künstlichen Intelligenz, kurz AGI, wichtig ist. Ein System, das viele unterschiedliche Arten von Problemen bewältigen kann, braucht mehr als bloße Größe. Es muss Entscheidungen treffen können. Es muss wissen, welche Fähigkeiten es wann einsetzen sollte.

Diese Idee bleibt nicht auf wissenschaftliche Veröffentlichungen beschränkt.

Tatsächlich arbeiten wir bei Dvina mit einem ähnlichen Ansatz. Von Anfang an sind wir davon ausgegangen, dass kein einzelnes Sprachmodell oder Tool in allem gut sein würde. Statt uns auf ein einziges Modell zu verlassen, haben wir eine Orchestrierungsebene entwickelt, die mehreren Modellen, Tools und Datenquellen übergeordnet ist.

Dieser Orchestrator dient als Entscheidungsebene. Wenn ein Nutzer eine Frage stellt, entscheidet er, welches Modell oder welche Ressource eingesetzt werden sollte. Manchmal nutzt er nur ein Modell oder eine Ressource. Manchmal kombiniert er mehrere und führt die Ergebnisse zusammen. Das Ziel ist nicht, Komplexität sichtbar zu machen, sondern sie hinter einer einfachen Bedienung zu verbergen.

Das Ergebnis ist ein System, das sich anpassungsfähig anfühlt. Sie stellen eine Frage, und das System findet heraus, wie es sie am effizientesten beantworten kann. Die Grundidee kommt dem sehr nahe, was MOE auf Modellebene vorschlägt – nur wird sie hier auf Systemebene angewandt.

AGI ist noch nicht da. Aber Ideen wie MOE zeigen, dass es auf dem Weg dorthin nicht nur um Größe geht. Es geht um Struktur, Koordination und einen intelligenteren Einsatz von Ressourcen.

If you are curious what this kind of approach feels like in practice, you can try Dvina for free at https://dvina.ai. It is not AGI, but it gives a small glimpse into how future AI systems may think and operate.

Dvina beitreten

Registrieren Sie sich kostenlos und bündeln Sie all Ihre Tools in einem einfachen Arbeitsbereich.

Mehr entdecken