ఆశాజనకమైన వార్తా శీర్షికల వెనుక, AI పరిశ్రమ ఆవిష్కరణల వేగం, మూలధన సమీకరణ కొనసాగగలదా అన్న అంశం, మోడళ్లను అభివృద్ధి చేసేవారు, అప్లికేషన్లను రూపొందించేవారు అనుసరిస్తున్న వేర్వేరు మార్గాలపై మౌలిక ప్రశ్నలతో తలపడుతోంది.
పరిశ్రమలో నిశ్శబ్ద మలుపు
గత మూడు సంవత్సరాల్లో కృత్రిమ మేధస్సు అపూర్వమైన వేగంతో వృద్ధి చెందింది. ChatGPT ప్రారంభమైనప్పటి నుంచి, వినియోగదారులు దాన్ని స్వీకరించిన తీరు రికార్డులను బద్దలు కొట్టింది. OpenAI నుంచి Google వరకు దిగ్గజాలు వేగంగా ఒకదాని తర్వాత మరొక మోడల్ను ప్రకటించాయి. Fortune 500 కంపెనీలు తమ వ్యాపార ప్రక్రియల్లో AIకి కేంద్ర స్థానం కల్పించాయి. అయినా నేడు, ఆశాజనకమైన వార్తా శీర్షికల వెనుక, పరిశ్రమ మౌలికంగా భిన్నమైన ఒక ప్రశ్నతో తలపడుతోంది:
నిజమైన ఆవిష్కరణ ఇంకా బలమైన ఊపుతో ముందుకు సాగుతోందా, లేక కనిపించని పరిమితులను ఢీకొంటున్న ఒక భారీ యంత్రాన్ని మనం చూస్తున్నామా?
ఈ ప్రశ్నకు సరిగ్గా సమాధానం ఇవ్వాలంటే, ఈ వ్యవస్థను రెండు వేర్వేరు దృక్కోణాల నుంచి చూడాలి:
ప్రాథమిక మార్కెట్: GPT-4, Claude, Gemini వంటి పునాది మోడళ్లను అభివృద్ధి చేసే కంపెనీలు: OpenAI, Anthropic, Google DeepMind, Meta.
ద్వితీయ మార్కెట్: ఈ మోడళ్లను ఉపయోగించి వినియోగదారులు వాస్తవంగా ఎదుర్కొనే సమస్యలకు పరిష్కారాలను రూపొందించే కంపెనీలు: Perplexity, Cursor, Notion AI, Replit.
ఈ రెండు మార్కెట్లు ఒకే పరిశ్రమలో ఉన్నప్పటికీ, వాటి గమనతీరులు, వ్యయ నిర్మాణాలు, నష్టభయ స్వరూపాలు, వృద్ధి అంచనాలు మౌలికంగా భిన్నమైనవి. నేడు మనం చూస్తున్న ఉద్రిక్తతకు మూలం సరిగ్గా ఈ భిన్నత్వమే.
మోడల్ అభివృద్ధిలో సహజ పరిమితులు బయటపడుతున్నాయి
గత ఐదు సంవత్సరాల్లో పెద్ద భాషా మోడళ్ల పరిణామాన్ని నాలుగు మౌలిక అంశాలు మలిచాయి:
- మోడల్ పరిమాణం (పారామీటర్ల సంఖ్య)
- శిక్షణ డేటా (నాణ్యత, వైవిధ్యం)
- గణన శక్తి (GPU/TPU సామర్థ్యం)
- శిక్షణ పద్ధతులు (ట్రాన్స్ఫార్మర్ నిర్మాణాలు, అటెన్షన్ యంత్రాంగాలు)
2018 నుంచి 2023 వరకు ఈ నాలుగు అంశాలు ఒకే దిశలో విస్తరించి, భారీ పురోగతికి దారితీశాయి. అలా మనం GPT-2 నుంచి GPT-4కి, BERT నుంచి PaLMకి చేరుకున్నాం. అయితే, ఈ వృద్ధి వక్రరేఖ నిరవధికంగా కొనసాగదు. ఇప్పుడు శిక్షణ డేటానే పరిశ్రమ పురోగతికి అత్యంత కీలకమైన అడ్డంకిగా మారింది.
నాణ్యమైన, వైవిధ్యభరితమైన, మనుషులు సృష్టించిన మౌలిక డేటా నిల్వలు పరిమితమే. మీరు Wikipedia డేటాతో శిక్షణ ఇస్తారు, arXiv డేటాతో శిక్షణ ఇస్తారు, GitHub డేటాతో శిక్షణ ఇస్తారు: ఆ తర్వాత? కాపీరైట్ సమస్యలు, డేటా యాజమాన్య ఒప్పందాలు, యాక్సెస్ పరిమితుల కారణంగా ఈ రంగంలో ఖర్చులు ఘాతాంకంగా పెరుగుతున్నాయి. మీరు Redditతో ఒప్పందాలు కుదుర్చుకుంటారు, Stack Overflowతో చర్చలు జరుపుతారు, The New York Times నుంచి దావాలను ఎదుర్కొంటారు. మోడల్ పరిమాణాన్ని పెంచడం సాంకేతికంగా ఇప్పటికీ సాధ్యమే, కానీ డేటా లభ్యత దానికి సహజమైన గరిష్ఠ పరిమితిని విధిస్తోంది.
అందుకే పరిశ్రమ తన దృష్టిని మోడల్ పరిమాణం నుంచి సమర్థత వైపు మళ్లించింది. ఆలోచనల గొలుసు ఆధారిత తార్కిక విశ్లేషణ, మానవుల అభిప్రాయాల ఆధారంగా రీఇన్ఫోర్స్మెంట్ లెర్నింగ్ (RLHF), మరింత ప్రభావవంతమైన నమూనా ఎంపిక పద్ధతులు, మిక్స్చర్-ఆఫ్-ఎక్స్పర్ట్స్ (MoE) నిర్మాణాలు: ఇవన్నీ ఈ మార్పులో భాగమే.
ఈ పరిణామాలు ముఖ్యమైనవే, కానీ వీటితో మాత్రమే దీర్ఘకాలం ముందుకు సాగలేం. ఎందుకంటే ఏదో ఒక దశలో సమర్థతలో మెరుగుదలలు కూడా గరిష్ఠ స్థాయికి చేరుకుంటాయి. పునాది మోడళ్లలో ఆవిష్కరణలు మరింత నెమ్మదిగా, మరింత ఖర్చుతో జరిగే దశలోకి ప్రవేశించాయని పరిశ్రమ గుర్తించడం మొదలుపెట్టింది.
మూలధన ప్రవాహ ఒత్తిడి, పెరుగుతున్న అస్థిరత
సాంకేతిక పరిమితులు స్పష్టమవుతున్న కొద్దీ, మూలధనపరమైన వృద్ధిలో ముప్పు మరింత పెరిగింది.
పునాది మోడళ్లను అభివృద్ధి చేసే కంపెనీలు భారీ కంప్యూటింగ్ మౌలిక సదుపాయాలను నిర్మిస్తున్నాయి; ప్రతిభావంతులను ఆకర్షించే పోటీలో దూకుడుగా ఆఫర్లు ఇస్తున్నాయి. బలమైన ఆదాయ పునాదులు ఏర్పడకముందే ఈ ఖర్చులు చేస్తున్నాయి. OpenAI వార్షిక కంప్యూటింగ్ ఖర్చులు బిలియన్లకు చేరుతున్నాయి. Anthropicకు Microsoft నుంచి బిలియన్లలో పెట్టుబడులు అందుతున్నాయి. Google, DeepMind కోసం ప్రత్యేక బడ్జెట్ కేటాయిస్తోంది.
డేటా సెంటర్లలో పెట్టుబడిగా పెడుతున్న బిలియన్లు, అనేక సంవత్సరాల GPU ఒప్పందాలు, Ilya Sutskever వంటి ప్రముఖులకు చెల్లిస్తున్న ఆకాశాన్నంటే జీతాలు: ఇవన్నీ కంపెనీల ఖర్చులను విపరీతంగా పెంచుతున్నాయి.
ప్రాథమిక మార్కెట్ ఆర్థికంగా అత్యంత అస్థిరమైన విస్తరణ నమూనాపై నిర్మితమైందని ఈ పరిస్థితి చూపిస్తోంది. మోడల్ ఆవిష్కరణల వ్యయ నిర్మాణం ఆదాయ వృద్ధి రేట్లను చాలా మించిపోతోంది.
నిశ్శబ్దంగా ఎదుగుతున్న అప్లికేషన్ పొర
ప్రాథమిక మార్కెట్ ఒత్తిడిలో ఉండగా, ద్వితీయ మార్కెట్ సాపేక్షంగా ఆరోగ్యకరమైన వృద్ధి పథంలో ముందుకు సాగుతోంది. ఈ కంపెనీలు పునాది మోడళ్లను తీసుకుని, వాటిని వాస్తవ వినియోగాలకు అనువుగా మారుస్తున్నాయి.
- Perplexity: శోధన అనుభవాన్ని పునఃరూపకల్పన చేస్తోంది
- Cursor & Replit: కోడింగ్ ప్రక్రియను మారుస్తున్నాయి
- Notion AI: ఉత్పాదకత సాధనాలకు మేధస్సును జోడిస్తోంది
- Dvina: 120+ అప్లికేషన్లతో అనుసంధానమై, ఒకే మేధోపరమైన పొర నుంచి డిజిటల్ జీవితాలను పూర్తిగా నిర్వహిస్తోంది
ఈ కంపెనీలకు ఉన్న ప్రయోజనం వినియోగదారులకు అత్యంత చేరువగా ఉండటమే. నిజమైన విలువ నేరుగా వినియోగదారు అనుభవంలోనే కనిపిస్తుంది. శోధన, కోడింగ్, కంటెంట్ సృష్టి, ఉత్పాదకత, సమాచార ప్రాసెసింగ్: ఈ రంగాలన్నీ విస్తరించగల, సులభంగా అర్థమయ్యే ఆదాయ నమూనాలను అందిస్తున్నాయి.
అందుకే పునాది మోడళ్లను రూపొందించే అనేక కంపెనీలు అప్లికేషన్ పొర వైపు మళ్లడం ప్రారంభించాయి. OpenAI, ChatGPTను ఒక ఉత్పత్తిగా మార్చింది; Anthropic, Claudeను వినియోగదారుల కోసం అందించే ఉత్పత్తిగా మార్చింది; Google, Geminiని అనుసంధానించింది. విలువ గొలుసులోని వివిధ దశలను ఒకే సంస్థలో సమీకరించే వ్యూహం వేగంగా విస్తరించింది.
కానీ ఈ వ్యూహం దుష్ప్రభావాలకు దారితీసింది: కొనుగోలు ఖర్చులు ఆకాశాన్నంటాయి, ద్వితీయ మార్కెట్ విలువ మదింపులు ఉబ్బిపోయాయి. ఆదాయాన్ని సృష్టించగల ఏకైక రంగమైన ద్వితీయ మార్కెట్ ఇంత ఖరీదైనదిగా మారడం, ఈ రంగంలో మూలధనానికి ఉన్న ముప్పును మరింత పెంచుతోంది.
చారిత్రక చక్రాలు, నేటి పరిస్థితిని వేరు చేస్తున్న అంశం
కృత్రిమ మేధస్సు గతంలో రెండు ప్రధాన తిరోగమనాలను చవిచూసింది: 1970s చివర్లో, 1990s ప్రారంభంలో. ఈ రెండు కాలాల్లోనూ ఉమ్మడిగా కనిపించిన అంశాలు: భారీ అంచనాలు, ఆవిష్కరణల్లో మందగమనం, కరిగిపోతున్న పెట్టుబడి ఆసక్తి.
నేటి పరిస్థితి భిన్నంగా ఉంది. సాంకేతిక ఆవిష్కరణలు కొనసాగుతున్నా, కీలక పురోగతి వేగం మందగిస్తోంది. అయితే మూలధన ప్రవాహం మాత్రం మునుపెన్నడూ లేనంత స్థాయిలో పెరుగుతోంది. Sam Altman $7 trillion కంప్యూటింగ్ నిధి గురించి చర్చిస్తున్నారు, Elon Musk xAIలో బిలియన్లను కుమ్మరిస్తున్నారు.
కాబట్టి మనం ఎదుర్కొంటున్నది సాధారణంగా చెప్పుకునే "AI శీతాకాలం" కాదు. ఇది మూలధన కేటాయింపులతో ముడిపడిన అస్థిరత దశకు దగ్గరగా ఉంది: విలువ మదింపులు ఉబ్బిపోతున్నాయి, ఖర్చులు వేగంగా పెరుగుతున్నాయి, కానీ ఆవిష్కరణల వేగం అంచనాలను అందుకోవడం లేదు.
కొత్త యుగం: పెద్ద మోడళ్లు కాదు, తెలివైన విధానాలే గెలుస్తాయి
నేడు అత్యంత కీలకమైన తేడా ఇదే: మరిన్ని పారామీటర్లను జోడించి ఇంకా భారీ మోడళ్లను తయారు చేయడం ఇప్పుడు ముఖ్యం కాదు.
నిజమైన పరివర్తన ఈ రంగాల్లో జరుగుతుంది:
- పారామీటర్ల వినియోగ సమర్థతను పెంచడం
- చిన్న మోడళ్లతో మరింత మెరుగైన నాణ్యతను సాధించడం
- కొత్త శిక్షణ పద్ధతులను అభివృద్ధి చేయడం
- డేటాను మరింత వ్యూహాత్మకంగా, సమర్థవంతంగా ఉపయోగించడం
- శిక్షణ ఖర్చులను భారీగా తగ్గించడం
ఇటీవల అత్యంత విశేషంగా నిలిచిన ఉదాహరణల్లో DeepSeek ఒకటి. ఈ చైనా స్టార్టప్ GPT-4 స్థాయిలో పనిచేసే మోడల్ను అభివృద్ధి చేసింది: అయితే దాని శిక్షణ ఖర్చులు చాలా తక్కువ. మిక్చర్-ఆఫ్-ఎక్స్పర్ట్స్ ఆర్కిటెక్చర్, పారామీటర్ల ఆప్టిమైజేషన్, సమర్థతకు ప్రాధాన్యమిచ్చే శిక్షణ పద్ధతులు. మార్కెట్ బలంగా స్పందించింది.
DeepSeek ప్రకటన తర్వాత, NVIDIA మార్కెట్ విలువ ఒక్క రోజులోనే $600 బిలియన్ తగ్గింది. పెట్టుబడిదారులు ఇప్పుడు పెద్ద మోడళ్ల కోసం జరుగుతున్న పోటీనే కాకుండా, సమర్థత కోసం, ఆర్కిటెక్చర్లో ఆవిష్కరణల కోసం జరుగుతున్న పోటీని కూడా గమనిస్తున్నారని ఇది చూపించింది.
కానీ ఇది కూడా సరిపోదు. ఈ రంగం నిజంగా పెద్ద ముందడుగు వేయాలంటే, అది కొత్త ఆర్కిటెక్చర్ నమూనాల ద్వారానే సాధ్యమవుతుంది. ట్రాన్స్ఫార్మర్ ఆర్కిటెక్చర్ను మించినది ఏదో రావాలి. అది బహుశా న్యూరోమార్ఫిక్ కంప్యూటింగ్ కావచ్చు, హైబ్రిడ్ మోడళ్లు కావచ్చు, లేదా పూర్తిగా భిన్నమైన అభ్యసన చట్రం కావచ్చు.
ఇలాంటి సమూల మార్పులు సాధారణంగా పెద్ద కంపెనీల నుంచి రావు. భారీ స్థాయిలో పనిచేయాల్సిన ఒత్తిడి, మౌలిక సదుపాయాల ఖర్చులు, సంస్థాగత రిస్క్ నిర్వహణ కారణంగా అవి జాగ్రత్తగా వ్యవహరిస్తాయి. నిజమైన విప్లవాత్మక పురోగతి తరచూ చిన్నవైనా, దూకుడుగా పనిచేసే, రిస్క్ తీసుకోవడానికి సిద్ధంగా ఉండే, పెద్ద ఆశయాలున్న స్టార్టప్ల నుంచి వస్తుంది.
నేటి AI వ్యవస్థ బహుశా ఇలాంటి సమూల మార్పు కోసమే ఎదురుచూస్తోంది.
ముగింపు: గెలిపించేది వనరులు కాదు, విధానం
నేడు AI రంగం రెండు ఒత్తిళ్ల మధ్య ఊగిసలాడుతోంది: ఒకవైపు తన పరిమితులకు చేరువవుతున్న మోడళ్ల పరిమాణాన్ని పెంచే వ్యూహం; మరోవైపు పెరుగుతున్న మూలధన నష్టభయాలు, వేగంగా విలువ పెరుగుతున్న అప్లికేషన్ల మార్కెట్.
ఇప్పుడు మౌలిక సమస్య సామర్థ్యంలో కాదు, అనుసరిస్తున్న విధానంలో ఉందని ఈ పరిస్థితి చూపిస్తోంది. రేపటి విజేతలు పెద్ద మోడళ్లను నిర్మించేవారు కాదు, మరింత తెలివైన పద్ధతులను రూపొందించేవారు. సమర్థత, కొత్త ఆర్కిటెక్చర్ డిజైన్లు, మెరుగుపరిచిన శిక్షణ పద్ధతులు ఈ రంగంలో అసలైన తేడాను నిర్ణయించేవిగా మారుతున్నాయి.
భవిష్యత్తులో నిర్ణయాత్మకమయ్యేది వనరుల బలం కాదు, అనుసరించే విధానం ఎంత మెరుగైనదన్నది. విధానంలో ఈ మార్పును పెద్ద కంపెనీల కంటే దూరదృష్టి ఉన్న స్టార్టప్లే ప్రారంభించే అవకాశం చాలా ఎక్కువ.