Ang $7 Trilyong Tanong

Ang Industriya ng AI sa Isang Kritikal na Yugto: Mga Hangganan ng Inobasyon, Presyon sa Kapital, at ang Estratehikong Pagkakahating Muling Humuhubog sa Hinaharap

Muhammed Gider
8 min na pagbasa • 

Ang $7 Trilyong Tanong

Sa likod ng mga positibong headline, nahaharap ang industriya ng AI sa mga pangunahing tanong tungkol sa patuloy na pagsulong ng inobasyon, kakayahang mapanatili ang kapital, at magkaibang landas na tinatahak ng mga developer ng modelo at mga gumagawa ng aplikasyon.

Ang Tahimik na Pagbabago ng Direksyon ng Industriya

Lumago ang artificial intelligence sa bilis na wala pang kapantay sa nakalipas na tatlong taon. Mula nang ilunsad ang ChatGPT, nakapagtala ng mga bagong rekord ang paggamit nito ng mga mamimili, mabilis na sunod-sunod na nag-anunsyo ng mga modelo ang mga higante mula OpenAI hanggang Google, at inilagay ng mga kumpanya sa Fortune 500 ang AI sa sentro ng kanilang mga proseso sa negosyo. Ngunit ngayon, sa likod ng mga positibong headline, nahaharap ang industriya sa isang tanong na lubhang naiiba:

Patuloy pa bang mabilis na sumusulong ang tunay na inobasyon, o nasasaksihan natin ang isang napakalaking makinang umaabot sa mga di-nakikitang hangganan?

Para masagot nang maayos ang tanong na ito, kailangan nating tingnan ang ecosystem mula sa dalawang magkaibang pananaw:

Pangunahing merkado: Mga kumpanyang bumubuo ng mga batayang modelo tulad ng GPT-4, Claude, at Gemini: OpenAI, Anthropic, Google DeepMind, Meta.

Pangalawang merkado: Mga kumpanyang gumagamit ng mga modelong ito para bumuo ng mga solusyon sa aktuwal na mga problema ng mga gumagamit: Perplexity, Cursor, Notion AI, Replit.

Bagama't kabilang ang dalawang merkado sa iisang industriya, malaki ang pagkakaiba ng kanilang takbo, istruktura ng gastos, katangian ng mga panganib, at inaasahang paglago. Sa pagkakaibang ito mismo nagmumula ang tensyong nasasaksihan natin ngayon.

Lumilitaw na ang mga Likas na Hangganan ng Pagbuo ng Modelo

Apat na pangunahing salik ang humubog sa ebolusyon ng malalaking modelo ng wika sa nakalipas na limang taon:

  • Laki ng modelo (bilang ng parameter)
  • Datos para sa pagsasanay (kalidad at pagkakaiba-iba)
  • Lakas sa pagpoproseso (kapasidad ng GPU/TPU)
  • Mga teknik sa pagsasanay (mga arkitekturang transformer, mga mekanismo ng atensyon)

Mula 2018 hanggang 2023, sabay-sabay na lumawak ang apat na salik na ito sa iisang direksyon, na nagbunga ng napakalaking pagsulong. Ganito tayo umusad mula GPT-2 patungong GPT-4, at mula BERT patungong PaLM. Gayunman, hindi magpapatuloy ang kurbang ito nang walang hanggan. Ang datos para sa pagsasanay na ngayon ang pinakamalaking sagabal sa pag-unlad ng industriya.

Limitado ang mga koleksiyon ng de-kalidad, sari-sari, at orihinal na data na likha ng tao. Ginagamit mo ang Wikipedia sa pagsasanay ng modelo, gayundin ang arXiv at GitHub: pagkatapos, ano na? Eksponensyal na tumataas ang mga gastos sa larangang ito dahil sa mga usapin sa copyright, mga kasunduan sa pagmamay-ari ng data, at mga paghihigpit sa access. Nakikipagkasundo ka sa Reddit, nakikipagnegosasyon sa Stack Overflow, at humaharap sa mga demanda mula sa The New York Times. Posible pa rin sa teknikal na aspeto ang pagpapalaki ng modelo, pero ang data ang nagtatakda ng likas na hangganan.

Ito ang dahilan kung bakit inilipat ng industriya ang pokus nito mula sa laki ng modelo tungo sa kahusayan. Ang chain-of-thought reasoning, reinforcement learning from human feedback (RLHF), mas epektibong mga pamamaraan ng sampling, at mga arkitekturang mixture-of-experts (MoE) ay pawang bahagi ng pagbabagong ito.

Mahalaga ang mga pag-unlad na ito, pero hindi nito kayang panatilihin ang pag-usad nang mag-isa. Sa isang punto, umaabot din sa hangganan ang mga pakinabang mula sa pagtaas ng kahusayan. Nagsisimula nang makita ng industriya na ang inobasyon sa mga foundational model ay pumasok na sa mas mabagal at mas magastos na yugto.

Presyon sa Daloy ng Kapital at Lumalaking Kahinaan

Habang lalong nagiging ramdam ang mga limitasyon ng teknolohiya, mas tumitindi ang panganib na kaakibat ng paglago sa panig ng kapital.

Ang mga kumpanyang gumagawa ng foundational model ay nagtatayo ng napakalalaking imprastraktura para sa pag-compute at nagbibigay ng agresibong mga alok sa matinding kompetisyon para sa talento. Ginagastos nila ang mga ito bago pa magkaroon ng matatag na pinagkukunan ng kita. Umaabot sa bilyon-bilyon ang taunang gastos ng OpenAI sa pag-compute. Tumatanggap ang Anthropic ng bilyon-bilyong pamumuhunan mula sa Microsoft. Naglalaan ang Google ng hiwalay na badyet para sa DeepMind.

Bilyon-bilyong pamumuhunan sa mga data center, mga kontrata sa GPU na tumatagal ng maraming taon, at napakataas na suweldong ibinabayad sa mga taong gaya ni Ilya Sutskever: lubhang pinapalaki ng mga ito ang mga gastusin ng mga kumpanya.

Ipinapakita ng sitwasyong ito na ang pangunahing merkado ay nakabatay sa isang modelo ng pagpapalawak na lubhang marupok sa aspetong pang-ekonomiya. Ang istruktura ng gastos sa inobasyon ng modelo ay malayong lumalampas sa bilis ng paglago ng kita.

Ang Tahimik na Pag-angat ng Application Layer

Habang nahaharap sa presyon ang pangunahing merkado, sumusulong naman ang sekundaryang merkado sa medyo maayos na takbo ng paglago. Ginagamit ng mga kumpanyang ito ang mga foundational model upang makabuo ng mga aktuwal na gamit.

  • Perplexity: Muling dinidisenyo ang karanasan sa paghahanap
  • Cursor & Replit: Binabago ang proseso ng pagsulat ng code
  • Notion AI: Ginagawang matalino ang mga tool para sa produktibidad
  • Dvina: Kumokonekta sa 120+ application upang pamahalaan ang kabuuan ng digital na buhay mula sa iisang matalinong layer

Ang bentahe ng mga kumpanyang ito ay sila ang pinakamalapit sa gumagamit. Direktang lumilitaw ang tunay na halaga sa karanasan ng gumagamit. Paghahanap, pagsulat ng code, paglikha ng nilalaman, produktibidad, at pagproseso ng impormasyon: lahat ng larangang ito ay nag-aalok ng mga modelo ng pagkita na kayang palawakin at madaling maunawaan.

Ito ang dahilan kung bakit maraming gumagawa ng foundational model ang nagsimulang lumipat sa application layer. Ginawang produkto ng OpenAI ang ChatGPT, ginawang alok para sa mga konsumer ng Anthropic ang Claude, at isinama ng Google ang Gemini. Mabilis na lumaganap ang estratehiya ng patayong integrasyon.

Pero may mga naging epekto ang estratehiyang ito: sumirit ang mga gastos sa pagkuha ng mga kumpanya, at lumobo ang mga pagpapahalaga sa sekundaryang merkado. Lalo pang pinatataas ang panganib sa kapital sa sektor dahil naging napakamahal ng sekundaryang merkado: ang tanging bahaging may kakayahang lumikha ng kita.

Mga Siklo sa Kasaysayan at ang Naiibang Salik Ngayon

Dalawang malalaking pagbagsak na ang naranasan ng artificial intelligence noon: sa huling bahagi ng 1970s at unang bahagi ng 1990s. Magkakatulad ang mga panahong ito sa matataas na inaasahan, mabagal na inobasyon, at naglalahong interes sa pamumuhunan.

Iba ang sitwasyon ngayon. Nagpapatuloy ang teknikal na inobasyon, pero bumabagal ang paglitaw ng malalaking tagumpay. Samantala, lumalaki ang daloy ng kapital sa antas na hindi pa nasaksihan noon. Tinatalakay ni Sam Altman ang isang $7 trilyong pondo para sa pag-compute, habang nagbubuhos si Elon Musk ng bilyon-bilyon sa xAI.

Kaya ang nararanasan natin ay hindi isang klasikong "AI winter." Mas maituturing itong panahon ng kahinaang nakaugat sa paglalaan ng kapital: lumolobo ang mga pagpapahalaga, pabilis nang pabilis ang pagtaas ng mga gastos, pero hindi naaabot ng bilis ng inobasyon ang mga inaasahan.

Ang Bagong Panahon: Mas Matalinong mga Diskarte ang Mananalo, Hindi Mas Malalaking Modelo

Ito ang pinakamahalagang kaibahan ngayon: hindi na ang paggawa ng mas malalaking modelo sa pamamagitan ng pagdaragdag ng mga parameter ang mahalaga.

Magaganap ang tunay na pagbabago sa mga larangang ito:

  • Pagpapahusay sa paggamit ng mga parameter
  • Pagkamit ng mas mataas na kalidad gamit ang mas maliliit na modelo
  • Pagbuo ng mga bagong teknik sa pagsasanay
  • Mas estratehiko at epektibong paggamit ng data
  • Malaking pagpapababa sa mga gastos sa pagsasanay

Isa sa mga pinakakapansin-pansing halimbawa kamakailan ay ang DeepSeek. Nakabuo ang startup na ito mula sa China ng modelong gumaganap sa antas ng GPT-4—ngunit sa mas mababang gastos sa pagsasanay. Arkitekturang mixture-of-experts, pag-optimize ng mga parameter, at mga teknik sa pagsasanay na nakatuon sa kahusayan. Malakas ang naging reaksiyon ng merkado.

Kasunod ng anunsyo ng DeepSeek, bumaba ng $600 billion ang halaga ng NVIDIA sa merkado sa loob lamang ng isang araw. Ipinakita nito na sinusubaybayan na ngayon ng mga mamumuhunan hindi lamang ang karera para sa mas malalaking modelo, kundi pati ang karera para sa kahusayan at inobasyon sa arkitektura.

Ngunit hindi pa rin ito sapat. Kung magkakaroon ng tunay na malaking pagsulong sa sektor, magmumula ito sa mga bagong paradigma sa arkitektura. Isang bagay na lampas sa arkitekturang transformer. Maaaring neuromorphic computing, maaaring mga hybrid na modelo, o maaaring isang ganap na naiibang balangkas ng pagkatuto.

Karaniwang hindi nagmumula sa malalaking kumpanya ang ganitong mga radikal na pagbabago. Maingat silang kumikilos dahil sa presyur ng laki ng kanilang operasyon, mga gastos sa imprastraktura, at pamamahala ng panganib sa korporasyon. Ang mga tunay na pambihirang pagsulong ay madalas magmula sa maliliit, agresibo, handang sumugal, at ambisyosong startup.

Malamang na naghihintay ang kasalukuyang ekosistema ng AI ng ganitong uri ng pagbabagong yayanig dito.

Konklusyon: Pamamaraan, Hindi mga Mapagkukunan, ang Mananalo

Ang sektor ng AI ngayon ay umuugoy sa pagitan ng dalawang tensiyon: sa isang panig, isang estratehiya ng pagpapalaki ng mga modelo na papalapit na sa mga limitasyon nito; sa kabilang panig, lumalaking mga panganib sa kapital at isang merkado ng mga application na mabilis na tumataas ang halaga.

Ipinapakita ng kalagayang ito na ang pangunahing problema ngayon ay ang pamamaraan, hindi ang kapasidad. Ang mga mananalo sa hinaharap ay hindi ang mga bubuo ng mas malalaking modelo, kundi ang mga bubuo ng mas matatalinong pamamaraan. Ang kahusayan, mga bagong disenyo ng arkitektura, at mga na-optimize na teknik sa pagsasanay ang nagiging tunay na batayan ng pagkakaiba sa sektor.

Ang kalidad ng pamamaraan, hindi ang lakas ng mga mapagkukunan, ang magiging mapagpasya sa hinaharap. At malaki ang posibilidad na mga startup na may malinaw na pananaw sa hinaharap, sa halip na malalaking kumpanya, ang magpasimula ng pagbabagong ito sa pamamaraan.

Sumali sa Dvina

Mag-sign up nang libre at pagsama-samahin ang lahat ng iyong tool sa isang simpleng workspace.

Tumuklas pa