این روزها، لحظهای جالب برای هوش مصنوعی است. برای مدت طولانی، پیشرفت در AI از یک قاعده ساده پیروی میکرد: بزرگتر کردن مدلها. پارامترهای بیشتر، دادههای بیشتر، توان محاسباتی بیشتر. این رویکرد جواب میداد، اما در عین حال مشکلات جدی هم ایجاد میکرد. آموزش مدلهای بزرگ پرهزینه و کند است و مقدار عظیمی انرژی مصرف میکند.
اخیراً انویدیا ایده متفاوتی را معرفی کرده که Mixture of Experts یا MOE نام دارد. بهجای اینکه برای هر وظیفه کل شبکه عصبی فعال شود، مدل یاد میگیرد انتخاب کند کدام بخشهای سیستم واقعاً لازماند. هر بخش مانند یک متخصص در حوزهای مشخص عمل میکند. برای هر پرسش، فقط مرتبطترین متخصصها به کار گرفته میشوند.
این کار سیستم را هم کارآمدتر میکند و هم انعطافپذیرتر. شبیه به روشی است که انسانها کار میکنند. شما برای هر مسئلهای از همه کسانی که میشناسید کمک نمیخواهید. سراغ کسانی میروید که برای آن موقعیت مناسبترند. با MOE، سیستمهای AI میتوانند هوشمندتر شوند، بدون اینکه بیدلیل سنگینتر شوند.
بسیاری از پژوهشگران معتقدند این مسیر برای هدف بلندمدت هوش عمومی مصنوعی، یا AGI، اهمیت دارد. سیستمی که بتواند با انواع بسیار متفاوتی از مسائل روبهرو شود، به چیزی فراتر از صرفاً مقیاس نیاز دارد. به تصمیمگیری نیاز دارد. باید بداند چه قابلیتهایی را در چه زمانی به کار بگیرد.
این ایده فقط به مقالههای پژوهشی محدود نمیشود.
در واقع، ما در Dvina نیز با رویکردی مشابه کار کردهایم. از همان ابتدا، فرض ما این بود که هیچ مدل زبانی یا ابزاری بهتنهایی در همهچیز عالی نیست. بهجای تکیه بر یک مدل، یک لایه ارکستریتور ساختهایم که روی چندین مدل، ابزار و منبع داده قرار میگیرد.
این ارکستریتور بهعنوان یک لایه تصمیمگیری عمل میکند. وقتی کاربر پرسشی میپرسد، تصمیم میگیرد از کدام مدل یا منبع باید استفاده شود. گاهی از یکی استفاده میکند. گاهی چند مورد را با هم ترکیب میکند و نتایج را ادغام میکند. هدف این نیست که پیچیدگی را نشان دهد، بلکه این است که آن را پشت یک تجربه ساده پنهان کند.
نتیجه، سیستمی است که حس انطباقپذیری دارد. شما سؤال میپرسید و سیستم تشخیص میدهد چگونه به کارآمدترین شکل به آن پاسخ دهد. این از نظر روح و منطق، بسیار به چیزی که MOE در سطح مدل پیشنهاد میکند نزدیک است، با این تفاوت که در سطح سیستم پیاده شده است.
AGI هنوز از راه نرسیده است. اما ایدههایی مانند MOE نشان میدهند که مسیر پیش رو فقط به مقیاس مربوط نمیشود. این مسیر به ساختار، هماهنگی و استفاده هوشمندانهتر از منابع مربوط است.
If you are curious what this kind of approach feels like in practice, you can try Dvina for free at https://dvina.ai. It is not AGI, but it gives a small glimpse into how future AI systems may think and operate.
