Yapay zekâ için ilginç bir dönemdeyiz. Uzun süre yapay zekâdaki ilerleme basit bir kurala dayandı: modelleri büyütmek. Daha fazla parametre, daha fazla veri, daha fazla hesaplama gücü. Bu işe yaradı, ancak ciddi sorunları da beraberinde getirdi. Büyük modelleri eğitmek pahalı, yavaş ve çok fazla enerji tüketen bir süreç.
Nvidia kısa süre önce Mixture of Experts, kısaca MOE adı verilen farklı bir fikir ortaya koydu. Model, her görev için sinir ağının tamamını etkinleştirmek yerine, sistemin hangi bölümlerine gerçekten ihtiyaç duyulduğunu seçmeyi öğreniyor. Her bölüm, belirli bir alanda uzman gibi davranıyor. Her soru için yalnızca o soruyla en ilgili uzmanlar kullanılıyor.
Bu, sistemi daha verimli ve daha esnek hâle getiriyor. İnsanların çalışma biçimine de benziyor. Her sorunda tanıdığınız herkesten yardım istemezsiniz. O duruma en uygun kişilere başvurursunuz. MOE sayesinde yapay zekâ sistemleri gereksiz yere ağırlaşmadan daha akıllı hâle gelebilir.
Pek çok araştırmacı, bu yaklaşımın uzun vadeli hedef olan Yapay Genel Zekâ, yani AGI açısından önemli olduğuna inanıyor. Pek çok farklı türde sorunun üstesinden gelebilen bir sistem için yalnızca büyük olmak yeterli değil. Karar verebilmesi gerekiyor. Hangi yetenekleri ne zaman kullanacağını bilmesi gerekiyor.
Bu fikir araştırma makaleleriyle sınırlı değil.
Aslında Dvina’da benzer bir yaklaşımla çalışıyoruz. En başından beri tek bir dil modelinin ya da aracın her konuda iyi olmayacağını varsaydık. Tek bir modele güvenmek yerine, birden fazla modelin, aracın ve veri kaynağının üzerinde çalışan bir orkestrasyon katmanı oluşturduk.
Bu orkestrasyon katmanı, karar verme işlevini üstleniyor. Bir kullanıcı soru sorduğunda hangi modelin ya da kaynağın kullanılacağına karar veriyor. Bazen yalnızca birini kullanıyor. Bazen birkaçını birlikte kullanıp sonuçlarını birleştiriyor. Amaç karmaşıklığı göstermek değil, sade bir deneyimin arkasında gizlemek.
Sonuçta, duruma uyum sağladığını hissettiren bir sistem ortaya çıkıyor. Siz bir soru soruyorsunuz, sistem de buna en verimli şekilde nasıl yanıt vereceğini belirliyor. Bu, temel yaklaşımı bakımından MOE’nin model düzeyinde önerdiğine çok yakın, ancak sistem düzeyinde uygulanıyor.
AGI’ye henüz ulaşılmadı. Ancak MOE gibi fikirler, ilerlemenin yalnızca ölçekle ilgili olmadığını gösteriyor. Yapı, koordinasyon ve kaynakları daha akıllıca kullanmak da önemli.
If you are curious what this kind of approach feels like in practice, you can try Dvina for free at https://dvina.ai. It is not AGI, but it gives a small glimpse into how future AI systems may think and operate.
