To ciekawy moment dla sztucznej inteligencji. Przez długi czas postęp w AI opierał się na prostej zasadzie: tworzyć coraz większe modele. Więcej parametrów, więcej danych, więcej mocy obliczeniowej. To działało, ale prowadziło też do poważnych problemów. Trenowanie dużych modeli jest kosztowne, trwa długo i pochłania ogromne ilości energii.
Niedawno Nvidia przedstawiła inną koncepcję o nazwie Mixture of Experts, czyli MOE. Zamiast aktywować całą sieć neuronową przy każdym zadaniu, model uczy się wybierać te części systemu, które są rzeczywiście potrzebne. Każda z nich działa jak ekspert w określonej dziedzinie. Przy danym pytaniu wykorzystywani są tylko eksperci najlepiej dopasowani do jego tematu.
Dzięki temu system jest wydajniejszy i bardziej elastyczny. Przypomina to sposób, w jaki działają ludzie. Nie prosisz wszystkich swoich znajomych o pomoc przy każdym problemie. Zwracasz się do tych, którzy najlepiej poradzą sobie w danej sytuacji. Dzięki MOE systemy AI mogą stawać się coraz inteligentniejsze bez niepotrzebnego zwiększania obciążenia.
Wielu badaczy uważa, że ten kierunek jest ważny dla długoterminowego celu, jakim jest ogólna sztuczna inteligencja, czyli AGI. System, który potrafi radzić sobie z wieloma różnymi rodzajami problemów, potrzebuje czegoś więcej niż samej skali. Musi umieć podejmować decyzje. Musi wiedzieć, z których zdolności korzystać i kiedy.
Ta koncepcja nie ogranicza się do publikacji naukowych.
W Dvina już pracujemy z podobnym podejściem. Od początku zakładaliśmy, że żaden pojedynczy model językowy ani żadne narzędzie nie będzie dobre we wszystkim. Zamiast polegać na jednym modelu, zbudowaliśmy warstwę orkiestracji, która działa ponad wieloma modelami, narzędziami i źródłami danych.
Ta warstwa orkiestracji odpowiada za podejmowanie decyzji. Gdy użytkownik zadaje pytanie, decyduje, którego modelu lub zasobu użyć. Czasem korzysta z jednego. Czasem łączy kilka i scala wyniki. Celem nie jest pokazywanie złożoności, lecz ukrycie jej za prostą obsługą.
W rezultacie powstaje system, który sprawia wrażenie, że dostosowuje się do potrzeb. Zadajesz pytanie, a system sam ustala, jak odpowiedzieć na nie w najwydajniejszy sposób. To podejście bardzo bliskie idei MOE na poziomie modelu, tyle że zastosowane na poziomie całego systemu.
AGI jeszcze nie powstało. Ale koncepcje takie jak MOE pokazują, że dalszy rozwój nie sprowadza się wyłącznie do zwiększania skali. Liczą się struktura, koordynacja i mądrzejsze wykorzystanie zasobów.
Jeśli ciekawi cię, jak takie podejście sprawdza się w praktyce, możesz bezpłatnie wypróbować Dvina na https://dvina.ai. To nie jest AGI, ale daje niewielki wgląd w to, jak przyszłe systemy AI mogą myśleć i działać.
