To ciekawy moment dla sztucznej inteligencji. Przez długi czas postęp w AI opierał się na prostej zasadzie: powiększać modele. Więcej parametrów, więcej danych, więcej mocy obliczeniowej. To działało, ale tworzyło też poważne problemy. Trenowanie dużych modeli jest kosztowne, powolne i pochłania ogromne ilości energii.
Niedawno Nvidia przedstawiła inną koncepcję o nazwie Mixture of Experts, czyli MOE. Zamiast aktywować całą sieć neuronową przy każdym zadaniu, model uczy się wybierać, które części systemu są rzeczywiście potrzebne. Każda część działa jak ekspert w określonym obszarze. Dla każdego pytania wykorzystywani są tylko najbardziej trafni eksperci.
Dzięki temu system jest bardziej wydajny i bardziej elastyczny. To podobne do tego, jak działają ludzie. Nie prosisz o pomoc każdej znanej Ci osoby przy każdym problemie. Zwracasz się do tych, które najlepiej pasują do danej sytuacji. Dzięki MOE systemy AI mogą stawać się mądrzejsze, nie stając się przy tym niepotrzebnie ciężkie.
Wielu badaczy uważa, że ten kierunek ma kluczowe znaczenie dla długoterminowego celu, jakim jest Artificial General Intelligence, czyli AGI. System, który potrafi radzić sobie z wieloma różnymi rodzajami problemów, potrzebuje czegoś więcej niż samej skali. Potrzebuje podejmowania decyzji. Musi wiedzieć, z których możliwości skorzystać i kiedy.
Ta idea nie ogranicza się do artykułów naukowych.
W rzeczywistości pracujemy nad podobnym podejściem w Dvina. Od samego początku zakładaliśmy, że żaden pojedynczy model językowy ani żadne pojedyncze narzędzie nie będzie dobre we wszystkim. Zamiast polegać na jednym modelu, zbudowaliśmy warstwę orkiestracji, która działa ponad wieloma modelami, narzędziami i źródłami danych.
Ta warstwa orkiestracji działa jak warstwa decyzyjna. Gdy użytkownik zadaje pytanie, decyduje, którego modelu lub zasobu należy użyć. Czasem korzysta z jednego. Czasem łączy kilka i scala wyniki. Celem nie jest pokazywanie złożoności, lecz ukrycie jej za prostym doświadczeniem.
Efektem jest system, który sprawia wrażenie adaptacyjnego. Zadajesz pytanie, a system sam ustala, jak odpowiedzieć na nie w najbardziej efektywny sposób. To bardzo bliskie duchowi tego, co MOE proponuje na poziomie modelu, ale zastosowane na poziomie systemu.
AGI jeszcze nie nadeszło. Ale idee takie jak MOE pokazują, że droga naprzód nie polega wyłącznie na skali. Chodzi o strukturę, koordynację i mądrzejsze wykorzystanie zasobów.
Jeśli chcesz zobaczyć w praktyce, jak działa takie podejście, możesz bezpłatnie wypróbować Dvina na https://dvina.ai. To nie jest AGI, ale daje mały wgląd w to, jak przyszłe systemy AI mogą myśleć i działać.
