זהו רגע מעניין עבור הבינה המלאכותית. במשך זמן רב, ההתקדמות ב-AI פעלה לפי כלל פשוט: להגדיל את המודלים. יותר פרמטרים, יותר נתונים, יותר כוח חישוב. זה עבד, אבל גם יצר בעיות רציניות. אימון של מודלים גדולים הוא יקר, איטי, וצורך כמות עצומה של אנרגיה.
לאחרונה, Nvidia הציגה רעיון שונה בשם Mixture of Experts, או MOE. במקום להפעיל את כל הרשת העצבית עבור כל משימה, המודל לומד לבחור אילו חלקים במערכת באמת נדרשים. כל חלק פועל כמו מומחה בתחום מסוים. עבור כל שאלה נתונה, נעשה שימוש רק במומחים הרלוונטיים ביותר.
הדבר הופך את המערכת ליעילה יותר וגמישה יותר. זה דומה לאופן שבו אנשים עובדים. אתם לא מבקשים מכל אדם שאתם מכירים עזרה בכל בעיה. אתם פונים לאלה שהכי מתאימים לאותה סיטואציה. עם MOE, מערכות AI יכולות להפוך לחכמות יותר בלי להפוך לכבדות שלא לצורך.
חוקרים רבים מאמינים שהכיוון הזה חשוב למטרה ארוכת הטווח של בינה כללית מלאכותית, או AGI. מערכת שיכולה להתמודד עם סוגים רבים ושונים של בעיות זקוקה ליותר מסתם גודל גולמי. היא זקוקה לקבלת החלטות. היא צריכה לדעת באילו יכולות להשתמש ומתי.
הרעיון הזה אינו מוגבל למאמרי מחקר.
למעשה, עבדנו עם גישה דומה ב-Dvina. מההתחלה הנחנו שאף מודל שפה או כלי יחיד לא יהיה טוב בהכול. במקום להסתמך על מודל אחד, בנינו שכבת תזמור שיושבת מעל כמה מודלים, כלים ומקורות נתונים.
שכבת התזמור הזו פועלת כשכבת החלטה. כשמשתמש שואל שאלה, היא מחליטה באיזה מודל או משאב צריך להשתמש. לפעמים היא משתמשת באחד. לפעמים היא משלבת כמה וממזגת את התוצאות. המטרה אינה להציג מורכבות, אלא להסתיר אותה מאחורי חוויה פשוטה.
התוצאה היא מערכת שמרגישה אדפטיבית. אתם שואלים שאלה, והמערכת מבינה איך לענות עליה בדרך היעילה ביותר. ברוח הדברים, זה קרוב מאוד למה ש-MOE מציע ברמת המודל, אבל מיושם ברמת המערכת.
AGI עדיין לא הגיע. אבל רעיונות כמו MOE מראים שהדרך קדימה אינה עוסקת רק בקנה מידה. היא עוסקת במבנה, בתיאום, ובשימוש חכם יותר במשאבים.
אם מסקרן אתכם איך גישה כזו מרגישה בפועל, תוכלו לנסות את Dvina בחינם ב-https://dvina.ai. זו לא AGI, אבל היא נותנת הצצה קטנה לאופן שבו מערכות AI עתידיות עשויות לחשוב ולפעול.
