מאחורי הכותרות הזוהרות, תעשיית ה-AI מתמודדת עם שאלות יסוד על קצב החדשנות, קיימות ההון והמסלולים המתפצלים של מפתחי המודלים לעומת בוני היישומים.
נקודת המפנה השקטה של התעשייה
הבינה המלאכותית צמחה בקצב חסר תקדים בשלוש השנים האחרונות. מאז השקת ChatGPT, האימוץ מצד צרכנים שבר שיאים, ענקיות מ-OpenAI ועד Google הכריזו על מודלים בזה אחר זה, וחברות Fortune 500 הציבו את ה-AI בלב התהליכים העסקיים שלהן. אך כיום, מאחורי הכותרות הזוהרות, התעשייה מתמודדת עם שאלה שונה מיסודה:
האם חדשנות אמיתית עדיין מתקדמת בתנופה חזקה, או שאנחנו צופים במכונה אדירה שפוגעת במגבלות בלתי נראות?
כדי לענות על השאלה הזו כראוי, עלינו לבחון את המערכת האקולוגית דרך שתי עדשות נפרדות:
שוק ראשוני: חברות שמפתחות מודלי יסוד כמו GPT-4, Claude ו-Gemini: OpenAI, Anthropic, Google DeepMind, Meta.
שוק משני: חברות שלוקחות את המודלים האלה ובונות פתרונות לבעיות אמיתיות של משתמשים: Perplexity, Cursor, Notion AI, Replit.
אף ששני השווקים פועלים בתוך אותה תעשייה, הדינמיקה שלהם, מבני העלויות, פרופילי הסיכון וציפיות הצמיחה שלהם שונים מיסודם. המתח שאנו עדים לו כיום נובע בדיוק מהפער הזה.
מגבלות טבעיות של פיתוח מודלים מתחילות להופיע
ארבעה גורמים יסודיים עיצבו את התפתחותם של מודלי שפה גדולים בחמש השנים האחרונות:
- גודל המודל (מספר הפרמטרים)
- נתוני האימון (איכות וגיוון)
- כוח חישוב (קיבולת GPU/TPU)
- טכניקות אימון (ארכיטקטורות transformer, מנגנוני attention)
מ-2018 עד 2023, ארבעת הגורמים האלה התרחבו באותו כיוון ויצרו קפיצות אדירות. כך התקדמנו מ-GPT-2 ל-GPT-4, ומ-BERT ל-PaLM. עם זאת, העקומה הזו לא תימשך לנצח. נתוני האימון הם כעת צוואר הבקבוק הקריטי ביותר של התעשייה.
מאגרי נתונים איכותיים, מגוונים ומקוריים שנוצרו בידי בני אדם הם מוגבלים. אתם מתאמנים על Wikipedia, אתם מתאמנים על arXiv, אתם מתאמנים על GitHub: ואז מה? העלויות בתחום הזה עולות בקצב אקספוננציאלי בגלל סוגיות של זכויות יוצרים, הסכמי בעלות על נתונים ומגבלות גישה. אתם סוגרים עסקאות עם Reddit, מנהלים משא ומתן עם Stack Overflow, ומתמודדים עם תביעות מצד The New York Times. הגדלת גודל המודלים עדיין אפשרית מבחינה טכנית, אבל בצד הנתונים נוצרה תקרת זכוכית טבעית.
זו הסיבה שהתעשייה העבירה את מוקד תשומת הלב שלה מגודל המודל ליעילות. חשיבה בשרשרת (chain-of-thought), למידת חיזוק ממשוב אנושי (RLHF), טכניקות דגימה יעילות יותר, וארכיטקטורות mixture-of-experts (MoE): כל אלה הם חלק מהשינוי הזה.
ההתפתחויות האלה משמעותיות, אבל אינן בנות-קיימא בפני עצמן. כי בשלב מסוים גם שיפורי היעילות מגיעים לרוויה. התעשייה מתחילה להכיר בכך שהחדשנות במודלים בסיסיים נכנסה לשלב איטי ויקר יותר.
לחץ בזרימת ההון ושבריריות גוברת
ככל שהמגבלות הטכנולוגיות נעשות מוחשיות יותר, הצמיחה בצד ההון נעשתה מסוכנת עוד יותר.
חברות של מודלים בסיסיים בונות תשתיות חישוב עצומות ומגישות הצעות אגרסיביות במלחמות על טאלנטים. ההוצאות האלה מתבצעות עוד לפני שנבנו בסיסי הכנסות חזקים. עלויות המחשוב השנתיות של OpenAI מגיעות למיליארדים. Anthropic מקבלת השקעות של מיליארדים מ-Microsoft. Google מקצה תקציב נפרד עבור DeepMind.
מיליארדים שמושקעים במרכזי נתונים, חוזי GPU רב-שנתיים, ומשכורות אסטרונומיות המשולמות לשמות כמו Ilya Sutskever: כל אלה מנפחים באופן דרמטי את שורות ההוצאות של החברות.
התמונה הזו מראה שהשוק הראשוני בנוי על מודל סקיילינג שברירי מאוד מבחינה כלכלית. מבנה העלויות של חדשנות במודלים גבוה בהרבה מקצבי הצמיחה בהכנסות.
העלייה השקטה של שכבת היישומים
בעוד שהשוק הראשוני נמצא תחת לחץ, השוק המשני מתקדם עם עקומת צמיחה בריאה יחסית. החברות האלה לוקחות מודלים בסיסיים והופכות אותם למקרי שימוש אמיתיים.
- Perplexity: מעצבת מחדש את חוויית החיפוש
- Cursor & Replit: משנות את תהליך הקידוד
- Notion AI: הופכת כלי פרודוקטיביות לחכמים
- Dvina: מתחברת ל-120+ יישומים כדי לנהל חיים דיגיטליים שלמים משכבה חכמה אחת
היתרון של החברות האלה הוא שהן הקרובות ביותר למשתמש. הערך האמיתי נוצר ישירות בחוויית המשתמש. חיפוש, קידוד, יצירת תוכן, פרודוקטיביות, עיבוד מידע: כל התחומים האלה מציעים מודלי הכנסה סקיילביליים וברורים.
זו הסיבה שיצרניות רבות של מודלים בסיסיים החלו לעבור לשכבת היישומים. OpenAI הפכה את ChatGPT למוצר, Anthropic הפכה את Claude להצעה לצרכנים, ו-Google שילבה את Gemini. אסטרטגיית האינטגרציה האנכית התפשטה במהירות.
אבל האסטרטגיה הזו יצרה תופעות לוואי: עלויות הרכישה זינקו, והוולואציות בשוק המשני התנפחו. העובדה שהשוק המשני — התחום היחיד שמסוגל לייצר הכנסות — הפך ליקר כל כך, מעצימה עוד יותר את סיכון ההון במגזר.
מחזורים היסטוריים והגורם המבדל של היום
בינה מלאכותית חוותה בעבר שני משברים גדולים: בסוף שנות ה-70 ובתחילת שנות ה-90. המשותף לתקופות האלה היה ציפיות גבוהות, קצב חדשנות נמוך, ותיאבון השקעות שהתפוגג.
המצב כיום שונה. החדשנות הטכנית נמשכת, אבל קצב פריצות הדרך מאט. זרימת ההון, לעומת זאת, גדלה בקנה מידה חסר תקדים. Sam Altman מדבר על קרן מחשוב של $7 trillion, ו-Elon Musk מזרים מיליארדים ל-xAI.
לכן, מה שאנחנו חווים אינו "חורף AI" קלאסי. זה יותר תקופה של שבריריות המבוססת על הקצאת הון: הוולואציות מתנפחות, העלויות מואצות, אבל קצב החדשנות לא עומד בציפיות.
העידן החדש: לא מודלים גדולים יותר, אלא גישות חכמות יותר ינצחו
ההבדל הקריטי ביותר כיום הוא זה: מה שחשוב עכשיו אינו לייצר מודלים עצומים יותר על ידי הוספת עוד פרמטרים.
הטרנספורמציה האמיתית תתרחש בתחומים האלה:
- הגדלת יעילות הפרמטרים
- השגת איכות גבוהה יותר עם מודלים קטנים יותר
- פיתוח טכניקות אימון חדשות
- שימוש בנתונים באופן אסטרטגי ויעיל יותר
- הפחתה דרמטית של עלויות האימון
אחת הדוגמאות הבולטות ביותר מהתקופה האחרונה הייתה DeepSeek. הסטארט-אפ הסיני הזה פיתח מודל שמציג ביצועים ברמה של GPT-4, אך בעלויות אימון נמוכות בהרבה. ארכיטקטורת mixture-of-experts, אופטימיזציית פרמטרים, וטכניקות אימון שממוקדות ביעילות. השוק הגיב בעוצמה.
בעקבות ההכרזה של DeepSeek, שווי השוק של NVIDIA צנח ב-600 מיליארד דולר ביום אחד. הדבר הראה שמשקיעים עוקבים כעת לא רק אחר המרוץ למודלים גדולים יותר, אלא גם אחר המרוץ ליעילות ולחדשנות ארכיטקטונית.
אבל גם זה עדיין לא מספיק. אם המגזר עומד לחוות קפיצה אמיתית, היא תגיע דרך פרדיגמות ארכיטקטוניות חדשות. משהו שמעבר לארכיטקטורת transformer. אולי מחשוב נוירומורפי, אולי מודלים היברידיים, ואולי מסגרת למידה שונה לחלוטין.
סוגים כאלה של טרנספורמציות רדיקליות בדרך כלל לא מגיעים מחברות גדולות. הן פועלות בזהירות בגלל לחץ קנה המידה, עלויות התשתית וניהול הסיכונים התאגידי. פריצות הדרך האמיתיות צומחות לעיתים קרובות מסטארט-אפים קטנים, אגרסיביים, סובלני סיכון ושאפתניים.
סביר להניח שמערכת האקולוגית של ה-AI כיום ממתינה בדיוק לשיבוש כזה.
סיכום: לא המשאבים, אלא הגישה, היא שתנצח
מגזר ה-AI נע כיום בין שני מתחים: מצד אחד, אסטרטגיית הגדלת המודלים שמתקרבת לגבולותיה; מצד שני, סיכוני הון הולכים וגדלים ושוק יישומים שמזנק במהירות בערכו.
התמונה הזו מראה שהבעיה היסודית כעת היא הגישה, לא הקיבולת. המנצחים של המחר לא יהיו מי שבונים מודלים גדולים יותר, אלא מי שבונים שיטות חכמות יותר. יעילות, תכנונים ארכיטקטוניים חדשים וטכניקות אימון ממוטבות הופכים לקו ההפרדה האמיתי של המגזר.
מה שיהיה מכריע בעתיד הוא איכות הגישה, לא עוצמת המשאבים. והסבירות שסטארט-אפים בעלי חזון, ולא חברות גדולות, הם שיניעו את השינוי הזה בגישה — גבוהה למדי.
