Iza blistavih naslova industrija umjetne inteligencije suočava se s temeljnim pitanjima o zamahu inovacija, održivosti kapitala i razilaženju putova tvrtki koje razvijaju modele i onih koje izrađuju aplikacije.
Tiha prekretnica industrije
Umjetna inteligencija razvijala se neviđenom brzinom tijekom posljednje tri godine. Od predstavljanja ChatGPT-a prihvaćanje među potrošačima obaralo je rekorde, divovi poput tvrtki OpenAI i Google predstavljali su modele jedan za drugim, a tvrtke s popisa Fortune 500 postavile su umjetnu inteligenciju u središte svojih poslovnih procesa. Ipak, danas se, iza blistavih naslova, industrija suočava s bitno drukčijim pitanjem:
Napreduju li istinske inovacije i dalje snažnim zamahom ili gledamo kako golemi stroj udara u nevidljive granice?
Da bismo na to pitanje valjano odgovorili, ekosustav moramo promatrati iz dvije različite perspektive:
Primarno tržište: Tvrtke koje razvijaju temeljne modele poput modela GPT-4, Claude i Gemini: OpenAI, Anthropic, Google DeepMind, Meta.
Sekundarno tržište: Tvrtke koje na tim modelima grade rješenja za stvarne probleme korisnika: Perplexity, Cursor, Notion AI, Replit.
Iako oba tržišta pripadaju istoj industriji, njihova dinamika, strukture troškova, profili rizika i očekivanja rasta bitno se razlikuju. Napetost kojoj danas svjedočimo proizlazi upravo iz tog razilaženja.
Naziru se prirodne granice razvoja modela
Četiri temeljna čimbenika oblikovala su razvoj velikih jezičnih modela tijekom posljednjih pet godina:
- Veličina modela (broj parametara)
- Podaci za treniranje (kvaliteta i raznolikost)
- Računalna snaga (kapacitet GPU/TPU)
- Tehnike treniranja (transformatorske arhitekture, mehanizmi pažnje)
Od 2018. do 2023. sva su se četiri čimbenika razvijala u istom smjeru, omogućujući goleme iskorake. Tako smo napredovali od modela GPT-2 do modela GPT-4, od modela BERT do modela PaLM. Međutim, ta se krivulja neće nastaviti unedogled. Podaci za treniranje sada su najkritičnije usko grlo industrije.
Zalihe kvalitetnih, raznolikih i izvornih podataka koje su stvorili ljudi ograničene su. Modele trenirate na Wikipediji, arXivu i GitHubu: što nakon toga? Troškovi u tom području eksponencijalno rastu zbog pitanja autorskih prava, ugovora o vlasništvu nad podacima i ograničenja pristupa. Sklapate dogovore s Redditom, pregovarate sa Stack Overflowom, suočavate se s tužbama koje podnosi The New York Times. Povećavanje modela i dalje je tehnički izvedivo, ali dostupnost podataka postavlja prirodnu gornju granicu.
Zato je industrija preusmjerila pozornost s veličine modela na učinkovitost. Zaključivanje kroz lanac misli, podržano učenje na temelju ljudskih povratnih informacija (RLHF), učinkovitije tehnike uzorkovanja, arhitekture mješavine stručnjaka (MoE): sve je to dio ove preobrazbe.
Ti su pomaci značajni, ali sami po sebi nisu održivi. U nekom trenutku i povećanje učinkovitosti doseže zasićenje. Industrija počinje uviđati da su inovacije u temeljnim modelima ušle u sporiju i skuplju fazu.
Pritisak priljeva kapitala i sve veća krhkost
Kako tehnološka ograničenja postaju sve opipljivija, rast kapitala nosi još veći rizik.
Tvrtke koje razvijaju temeljne modele grade golemu računalnu infrastrukturu i daju agresivne ponude u borbi za talente. Ti troškovi nastaju prije nego što su osigurani snažni izvori prihoda. Godišnji troškovi računalnih resursa tvrtke OpenAI dosežu milijarde. Anthropic prima milijarde ulaganja od Microsofta. Google izdvaja zaseban proračun za DeepMind.
Milijarde uložene u podatkovne centre, višegodišnji ugovori za GPU-ove, astronomske plaće koje primaju ljudi poput Ilye Sutskevera: sve to dramatično povećava rashode tvrtki.
Ta slika pokazuje da se primarno tržište temelji na ekonomski vrlo krhkom modelu skaliranja. Troškovi inovacija u modelima daleko nadmašuju stope rasta prihoda.
Tihi uspon aplikacijskog sloja
Dok je primarno tržište pod pritiskom, sekundarno tržište napreduje uz razmjerno zdravu krivulju rasta. Te tvrtke temeljne modele pretvaraju u konkretne primjene.
- Perplexity: Preoblikuje iskustvo pretraživanja
- Cursor & Replit: Mijenjaju proces programiranja
- Notion AI: Alate za produktivnost čini inteligentnima
- Dvina: Povezuje se sa 120+ aplikacija za upravljanje cjelokupnim digitalnim životom iz jednog inteligentnog sloja
Prednost tih tvrtki jest to što su najbliže korisniku. Stvarna vrijednost nastaje izravno u korisničkom iskustvu. Pretraživanje, programiranje, stvaranje sadržaja, produktivnost, obrada informacija: sva ta područja nude skalabilne i razumljive modele prihoda.
Zato su se mnogi proizvođači temeljnih modela počeli okretati aplikacijskom sloju. OpenAI je ChatGPT pretvorio u proizvod, Anthropic je Claude pretvorio u ponudu za krajnje korisnike, a Google je integrirao Gemini. Strategija vertikalne integracije brzo se proširila.
No ta je strategija imala i nuspojave: troškovi akvizicija naglo su porasli, a procjene vrijednosti na sekundarnom tržištu napuhale su se. Činjenica da je sekundarno tržište — jedino područje koje može stvarati prihode — postalo toliko skupo dodatno povećava kapitalni rizik u sektoru.
Povijesni ciklusi i ono po čemu je današnja situacija drukčija
Umjetna inteligencija u prošlosti je doživjela dva velika pada: krajem 1970-ih i početkom 1990-ih. Tim su razdobljima bili zajednički visoka očekivanja, spor tempo inovacija i nestajanje spremnosti na ulaganje.
Današnja je situacija drukčija. Tehnološke inovacije se nastavljaju, ali tempo velikih proboja usporava. Priljev kapitala, međutim, raste u dosad neviđenim razmjerima. Sam Altman govori o fondu za računalne resurse vrijednom 7 bilijuna dolara, a Elon Musk ulaže milijarde u xAI.
Dakle, ovo što proživljavamo nije klasična "AI zima". Prije je riječ o razdoblju krhkosti uzrokovane raspodjelom kapitala: procjene vrijednosti se napuhuju, troškovi rastu sve brže, ali tempo inovacija ne ispunjava očekivanja.
Novo doba: neće pobijediti veći modeli, nego pametniji pristupi
Najvažnija razlika danas je sljedeća: više nije presudno stvarati još veće modele dodavanjem novih parametara.
Prava transformacija dogodit će se u ovim područjima:
- Povećanje učinkovitosti parametara
- Postizanje više kvalitete s manjim modelima
- Razvoj novih tehnika treniranja
- Strateškije i učinkovitije korištenje podataka
- Radikalno smanjenje troškova treniranja
Jedan od najupečatljivijih nedavnih primjera bio je DeepSeek. Ovaj kineski startup razvio je model koji postiže rezultate na razini GPT-4, ali uz znatno niže troškove treniranja. Arhitektura mješavine stručnjaka, optimizacija parametara, tehnike treniranja usmjerene na učinkovitost. Tržište je snažno reagiralo.
Nakon objave tvrtke DeepSeek, tržišna kapitalizacija tvrtke NVIDIA pala je za 600 milijardi dolara u jednom danu. To je pokazalo da ulagači sada prate ne samo utrku za većim modelima nego i utrku za učinkovitošću i arhitektonskim inovacijama.
Ali ni to još nije dovoljno. Ako sektor doživi istinski iskorak, on će doći zahvaljujući novim arhitektonskim paradigmama. Nečemu što nadilazi arhitekturu transformera. Možda neuromorfnom računarstvu, možda hibridnim modelima, a možda i potpuno drukčijem okviru učenja.
Takve radikalne transformacije obično ne dolaze iz velikih tvrtki. One djeluju oprezno zbog pritiska koji donosi njihova veličina, troškova infrastrukture i korporativnog upravljanja rizicima. Pravi proboji često dolaze iz malih, agresivnih i ambicioznih startupova spremnih na rizik.
Današnji ekosustav umjetne inteligencije vjerojatno čeka upravo takvu disruptivnu promjenu.
Zaključak: Neće pobijediti resursi, nego pristup
Sektor umjetne inteligencije danas se nalazi između dviju napetosti: s jedne strane, strategije skaliranja modela koja se približava svojim granicama; s druge, rastućih kapitalnih rizika i tržišta aplikacija čija vrijednost brzo raste.
Ova slika pokazuje da je temeljni problem sada pristup, a ne kapacitet. Sutrašnji pobjednici neće biti oni koji grade veće modele, nego oni koji razvijaju pametnije metode. Učinkovitost, nova arhitektonska rješenja i optimizirane tehnike treniranja postaju ono što doista čini razliku u sektoru.
U budućnosti će biti presudna kvaliteta pristupa, a ne snaga resursa. A vjerojatnost da će taj zaokret u pristupu pokrenuti vizionarski startupovi, a ne velike tvrtke, prilično je velika.