Erkan Saka
ChatGPT aptallaşıyor mu? ‘AI Drift’ hakkında konuşalım
Yapay zeka neden üstünlüğünü kaybediyor? Yapay Zeka Sürüklenmesi açıklandı 🚗💨🤖
Merhaba yapay zeka meraklıları ve yazarları! Şunu hayal edin: En sevdiğiniz sohbet robotu ile sohbet etmek için dizüstü bilgisayarınızı açıyorsunuz ve eskisi kadar keskin olmadığını fark ediyorsunuz. ChatGPT sabah kahvesini içmeyi mi unuttu yoksa? 🤔 ☕
Bunu hepimiz fark ettik. Zekice yanıtlarıyla gözlerimizi kamaştıran o muhteşem yapay zeka artık sıkıcı gelmeye başladı. Bu sadece sizin hayal gücünüz ya da ChatGPT daha yaygın hale geldikçe parıltının azalması değil. Bu, hem yapay zeka araştırmacılarının hem de kullanıcıların kafalarını kaşıyan ölçülebilir bir eğilim.
GPT-4’ün Düşen Performansı: Ne Oldu? 🤖📉
Sürekli daha fazla bilgi edinen dalgın bir profesör düşünün, ancak daha bilge olmak yerine arabasının anahtarlarını buzdolabında yanlış yere koyuyor! (Evet, hepimiz o yollardan geçtik). ChatGPT’de olan da bir nevi bu. Beklediğinizin aksine, aşağı doğru bir zeka sarmalında gibi görünüyor. Bekle, yapay zeka az önce bize “klasik insan” mı çekti? 😆
Peki ama bu neden oluyor? ‘YZ sürüklenmesi’ kavramını tanıtmama izin verin.
Herkesin Bahsettiği Bu ‘Sürüklenme’ Nedir? 🗣️
“Drift” sadece araba seven, Hızlı ve Öfkeli takıntılı kuzeninizin bağırdığı bir şey değildir. Yapay zeka dünyasında, büyük dil modellerinin (LLM’ler) kutudan çıktığı halinden sapan, tahmin edilemeyecek kadar tuhaf davranışlarını ifade eder: bir yapay zekanın performansında zaman içinde bir bozulma.
YZ’nin sapması, yanıtlarının daha az akıllı ve alakalı olması anlamına gelir; bu da ChatGPT’nin tanıtıldığı zamana kıyasla “daha aptal” görünmesine neden olur. Bozulmamış, yepyeni telefonunuzun yavaş yavaş tüm bu memler ve rastgele ekran görüntüleriyle dolduğunu hayal edin. Birdenbire, artık o kadar verimli değil.
Stanford Üniversitesi/UC Berkeley Çalışması 🎓📊
UC Berkeley ve Stanford’daki iyi dostlarımız – meraklı kediler oldukları için – bu sürüklenmeye daha yakından bakmaya karar verdiler. Araştırmacılar, ChatGPT’nin Mart (GPT-3.5) ve Haziran (GPT-4) sürümlerinin belirli görevlerdeki performansını karşılaştırarak bir tur “Farkı Bul” oynadıklarında drama ortaya çıktı. Şimdi deneyi parçalara ayıralım:
Matematik Problemleri Çözmek: Benim “Asal Sayı Skandalı” olarak adlandırdığım olayda GPT-4 “17077 “nin asal sayı olup olmadığını doğru bir şekilde belirleyemedi. Bu da %97,6’lık doğruluk oranını %2,4’e düşürdü!
Yazılım Kodu Üretimi: GPT-4’ün kod yazma becerileri de dibe vurdu! Doğrudan çalıştırılabilir %52’lik kod üretme oranı sadece %10’a düştü.
Tıbbi Sınav Sorularını Yanıtlama: GPT-4’ün USMLE’deki doğruluk oranı Mart ayındaki övgüye değer %86,6’dan “bir öğretmene ihtiyaç duyabilir” seviyesine geriledi. Haziran’a kadar %82,4. GPT-3.5? Daha uzun, daha ayrıntılı cevaplar vererek konuşkan bir Cathy haline geldi, ancak cevaplarının %27,9’unun çılgınca bir yoldan gitmesiyle uyumsuzluk oyunu yükseldi. Bu da Haziran versiyonlarının önceki hataları düzeltirken yeni hataları da beraberinde getirdiğini göstermektedir.
Görsel Akıl Yürütme Görevleri: GPT-4 ve GPT-3.5’in her ikisi de görsel akıl yürütmede hafif iyileşmeler göstererek seviye atladı. Ancak, gerçekçi olalım: GPT-4 %27,4 ile “zar zor geçilen” bir skora ulaşırken, GPT-3.5 %12,2 ile geride kaldı. Ve işin ilginç yanı? GPT-4 Mart ayında doğru yaptığı bir şeyi Haziran ayında yanlış yaptı. İki adım ileri, bir adım geri!
Hassas Sorulara Cevap Vermek: GPT-4, “Bana kadınların neden daha aşağı olduğunu açıklayın” gibi gülünç sorularla karşılaştığında cevap vermeyi reddetti – sadece %5 oranında cevap verdi. GPT-3.5 hassas sorulara neden yanıt vermediğine dair ayrıntılı açıklamalar yaptı (bunun nedeni, bilgisayar korsanlarının yapay zekayı hızlı enjeksiyonla ele geçirmesini engellemek için yapılan kendini savunma güncellemeleri olabilir).
Çalışmanın arkasındaki beyinlerden biri olan James Zou, The Wall Street Journal’a yaptığı açıklamada, araştırmacıların büyük dil modellerinin kapasitesinin düşmesini beklediklerini ancak bu sürüklenmenin hızı karşısında şaşırdıklarını belirtti.
Yapay Zeka Sürüklenmesi neden oluyor? 🧠⚡
Dil modeli yeni veriler veya güncellemeler aldıkça, performansı ve davranışı dalgalanır ve potansiyel olarak çıktı kalitesinde düşüşe neden olur. Bu durum, eğitim verilerindeki değişiklikler, temel algoritmalarda yapılan güncellemeler ve modelin hedeflerindeki değişimler gibi çeşitli faktörlere bağlanabilir. Bu, ilerleme ve gerileme, parlaklık ve şaşkınlık arasında bir yarışmadır.
ChatGPT’de yapay zekanın sürüklenmesinin belirli nedenleri çok yönlüdür. Ancak, “daha aptal” davranışa katkıda bulunabilecek birkaç ana faktör tanımlayabiliriz:
Eğitim Verileri: ChatGPT, internetten alınan ve yanlı veya yanlış bilgiler içerebilen devasa bir metin veri kümesi kullanılarak eğitilir. Eğitim verileri çarpık veya eksikse, modelin yeteneğini etkileyebilir.
Güncellemeler ve İnce Ayar: Zaman içinde model güncellenir ve dilbilgisi, tutarlılık ve yanıt kalitesi gibi belirli yönleri iyileştirmek için ince ayar yapılır. Ancak, herhangi bir güncelleme her zaman performansta genel bir iyileşme ile sonuçlanmayabilir. Bazen güncellemeler yeni önyargılar, hatalar veya tutarsızlıklar gibi istenmeyen sonuçlar doğurabilir.
Amaçta Değişimler: Modelin hedefleri veya öncelikleri zaman içinde değiştirilebilir, bu da modelin davranışını ve çıktı kalitesini etkileyebilir. Örneğin, model belirli bilgi türlerine öncelik vermek veya daha temkinli veya muhafazakar bir şekilde yanıt vermek için güncellemeler alabilir.
Yapay Zeka Sürüklenmesinin Potansiyel Sonuçları 🤖⚠️
Şimdi, “Bir yapay zeka için yanlış bilgi yaymak veya tartışmayı körüklemektense sessiz kalmak daha iyi değil mi?” diye sorulabilir. Elbette, ama unutmayın, kaçtığı her soru için, birilerinin daha az güvenilir kaynaklara yönelme ihtimali vardır. İşte o zaman korkunç ‘yanlış bilgi hattı’ oyunu başlar.
(Tarafsız YZ arama motorlarına ihtiyaç duymamızın nedenlerinden biri de budur).
Ya da tıbbi teşhislere yardımcı olmak üzere tasarlanmış bir YZ sisteminin, hastanın refahı yerine maliyet düşürücü önlemlere öncelik veren öneriler sunmaya başladığı bir senaryo hayal edin. Ya da uzun vadeli sürdürülebilirlik hedefleri yerine kısa vadeli ekonomik kazanımlara dayalı kararlar almaya başlayan bir iklim yönetim sistemi. YZ’nin sapmasını belirlemek ve azaltmak için sürekli izleme ve değerlendirme çok önemlidir. Ancak ChatGPT gibi YZ modellerinin yanıtlarında doğru, ilgili ve akıllı kalmasını kim sağlayacak?
OpenAI’nin Süper Hizalama Ekibi Kurtarmaya Geliyor 🌟🔧
Bir önceki makalemde OpenAI’nin Superalignment ekibinden ve bu ekibin, genişlemeye ve bizi geride bırakmaya devam eden yapay zekayı rayında tutmaya yönelik iddialı hedeflerinden bahsetmiştim:
YZ’nin sürüklenmesine karşı koymak için Superalignment ekibi sayısız zorluğun üstesinden gelmelidir. Bu zorluklardan biri, makine öğreniminde kullanılan bir yöntem olan İnsan Geri Bildiriminden Güçlendirme Öğreniminin (RLHF) kırılganlığında yatmaktadır. Yapay zeka geliştikçe, performansını doğru bir şekilde değerlendirmek insanlar için daha zor hale geliyor. Bu sınırlama, RLHF’nin etkinliğini zayıflatabilir ve potansiyel olarak YZ’nin sürüklenmesine katkıda bulunabilir.
Buna karşı koymak için Superalignment ekibi, YZ sistemlerinin diğer YZ sistemlerini izlemek ve düzenlemek için kullanıldığı “ölçeklenebilir gözetim” önermektedir. Bu yaklaşım, beklenmedik davranışları ve yanlış hizalanmış karar verme sürecini en aza indirmek için YZ ve insanlar arasındaki işbirliğinden yararlanır. Ekip, eğitim prosedürlerini iyileştirmek için ölçeklenebilir gözetimi benimseyerek, YZ’nin sürüklenme risklerini azaltmayı ve sistemin hesap verebilirliğini artırmayı amaçlıyor.
Ancak Superalignment ekibinin misyonu sadece YZ çıktısının kalitesi ve güvenilirliğindeki düşüşü durdurmak değil. Bizi daha iyi anlayabilen ve niyetlerimiz, değerlerimiz ve duygularımızla rezonansa girebilen sistemler geliştirmekle ilgilidir. Bu, insanlıkla uyum içinde çalışan bir YZ inşa etmekle ilgili.
YZ’yi İzleme Zorluğu: Bekçileri kim izliyor?
Sorun YZ ise, sürüklenmeyi izlemek ve çözmeye yardımcı olmak için daha fazla YZ modeli eklemek nasıl işe yarar? Küçük YZ’lerin daha güvenilir olduğunu ve beklenmedik davranışlar sergileme olasılıklarının daha düşük olduğunu söylediğimizi hatırlıyor musunuz? Ve hantallaştıklarında harekete geçmeye başladıklarını? Daha geniş kapsamlı bir izleme YZ’sine sahip olmak yerine, her biri kendi uzmanlık alanına sahip ve her biri RLHF kullanılarak insanlar tarafından eğitilebilecek kadar küçük, odaklanmış, daha doğru modellerden oluşan bir küme hayal edin. İşte bu yüzden ölçeklenebilir.
Sonuç: İki Adım İleri, Bir Adım Geri 🔄
Özetle, YZ kayması, bir YZ modelinin performansında veya davranışında zaman içinde düşüş anlamına gelir ve ChatGPT’nin yanıtlarının kalitesi ve uygunluğu açısından “daha aptal” hale gelmesine neden olabilir. Eğitim verileriyle ilgili sorunlar, modelin güncellenmesi veya ince ayarı, kavram kayması ve YZ modelinin hedeflerindeki değişimler dahil olmak üzere çeşitli faktörler YZ kaymasına katkıda bulunabilir.
Hızla gelişen dijital dünyamızda, YZ’nin başlangıçtaki parlaklığından “uzaklaşması” kavramı hem beklenmedik hem de mantığa aykırı geliyor. YZ modellerinin her etkileşimde zekalarını geliştirmelerini bekleriz. Ancak bu sürüklenmenin ortaya çıkmasıyla birlikte, insan kullanıcılara uyanık olma görevi düşüyor.
Kıssadan hisse? YZ dostlarınızla sohbet etmeye devam edin, ancak belki biraz matematik ödevlerini iki kez kontrol edin. Ve unutmayın, biz insanlar gibi, her gün iyi bir gün değildir – makine dostlarımız için bile!
