Çeviri: “Weizenbaum’un kabusları: İlk sohbet robotunun mucidi yapay zekaya nasıl karşı çıktı?

Weizenbaum’un kabusları: İlk sohbet robotunun mucidi yapay zekaya nasıl karşı çıktı?

Yazan Ben Tarnoff

25 Temmuz 2023
Orijinali Görüntüle

1966’da Joseph Weizenbaum adlı bir MIT profesörü ilk sohbet robotunu yarattı. Onu bir psikoterapist rolüne soktu. Bir kullanıcı ana bilgisayara bağlı elektrikli bir daktiloya bir mesaj yazıyordu. Bir süre sonra “psikoterapist” cevap veriyordu.

Kullanıcı: Erkeklerin hepsi birbirine benzer.
Chatbot: NE AÇIDAN
Kullanıcı: Her zaman bir şey hakkında bizi rahatsız ediyorlar.
Chatbot: BELIRLI BIR ÖRNEK DÜŞÜNEBILIR MISINIZ
Kullanıcı: Şey, erkek arkadaşım beni buraya getirdi.
Chatbot: ERKEK ARKADAŞIN SENI BURAYA GETIRDI
Kullanıcı: Çoğu zaman depresyonda olduğumu söylüyor.
Chatbot: DEPRESYONDA OLDUĞUNUZU DUYDUĞUMA ÜZÜLDÜM

Weizenbaum bu örnek alışverişi, sohbet robotunun nasıl çalıştığını açıklayan bir dergi makalesinde yayınladı. Yazılım nispeten basitti. Kullanıcı girdisine bakıyor ve makul bir yanıt üretmek için bir dizi kural uyguluyordu. Programa Pygmalion’daki Eliza Doolittle’dan esinlenerek Eliza adını verdi. George Bernard Shaw’un oyunundaki çiçekçi kız, bir illüzyon yaratmak için dili kullanır: konuşmasını bir düşes gibi davranabileceği noktaya kadar yükseltir. Benzer şekilde, Eliza da daktilo başında oturan kişiyi anladığı yanılsamasını yaratacak şekilde konuşur.

Weizenbaum, “Bazı denekleri Eliza’nın (mevcut yazısıyla) insan olmadığına ikna etmek çok zor oldu,” diye yazdı. Ertesi yıl yayınlanan bir sonraki makalesinde daha açık konuştu: Bir gün sekreterinin Eliza ile biraz zaman geçirmek istediğini söyledi. Birkaç dakika sonra Weizenbaum’dan odadan çıkmasını istemiş. “Bu anekdotun, programın anlayış yanılsamasını sürdürmedeki başarısına tanıklık ettiğine inanıyorum” dedi.

Eliza pek de bilinmeyen bir şey değil. Zamanında büyük bir heyecan yarattı – Boston Globe bir muhabirini daktilonun başına oturttu ve konuşmadan bir alıntı yayınladı – ve bilgisayar tarihindeki en iyi bilinen gelişmelerden biri olmaya devam ediyor. Yakın zamanda ChatGPT’nin piyasaya sürülmesi bu konuya olan ilgiyi yeniden canlandırdı. Geçtiğimiz yıl Guardian, New York Times, Atlantic ve başka yerlerde Eliza’ya atıfta bulunuldu. İnsanların neredeyse 60 yıllık bir yazılım hakkında hala düşünmelerinin nedeni, zamanının standartlarına göre bile çok sofistike olmayan teknik yönleriyle ilgili değildir. Aksine Eliza, bilgisayarlarla ilişkimizi güçlü bir şekilde etkileyen insan zihninin bir mekanizmasını aydınlattı.

Sigmund Freud, kariyerinin başlarında hastalarının kendisine sürekli aşık olduğunu fark etti. Freud, bunun son derece çekici ya da yakışıklı olmasından kaynaklanmadığı sonucuna vardı. Bunun yerine, daha ilginç bir şey oluyordu: aktarım. Kısaca aktarım, geçmişimizdeki biriyle ilgili duygularımızı şimdiki zamanımızdaki birine yansıtma eğilimimizi ifade eder. Psikanalizde olmak bu eğilimi güçlendirse de, tüm ilişkilerin bir özelliğidir. Diğer insanlarla etkileşime girdiğimizde, karşılaşmaya her zaman bir grup hayalet getiririz. Önceki yaşamımızın ve özellikle de çocukluğumuzun kalıntıları, birbirimizi gördüğümüz perdedir.

Bu kavram insanların Eliza’ya verdikleri tepkileri anlamlandırmaya yardımcı oluyor. Weizenbaum, insanların yazılımlara anlayış, empati ve diğer insani özellikler atfetmesiyle, aktarımın bilgisayarlı versiyonuna rastlamıştı. Bu terimi kendisi hiç kullanmamış olsa da, psikanalizle olan uzun geçmişi, “Eliza etkisi” olarak adlandırılacak şeyi nasıl yorumladığını açıkça ortaya koymuştur.

Bilgisayarlar daha yetenekli hale geldikçe, Eliza etkisi daha da güçlendi. Birçok insanın ChatGPT ile kurduğu ilişkiyi ele alalım. Sohbet robotunun içinde, bir dizideki bir sonraki karakter, kelime veya cümle dizisini tahmin etmek üzere eğitilmiş matematiksel bir sistem olan bir “büyük dil modeli” bulunmaktadır. ChatGPT’yi diğerlerinden ayıran şey, yalnızca altında yatan büyük dil modelinin karmaşıklığı değil, aynı zamanda ürkütücü derecede konuşkan sesidir. Meta’da veri bilimcisi olarak çalışan Colin Fraser’ın ifadesiyle, uygulama “sizi kandırmak, aslında orada olmayan biriyle konuştuğunuzu düşünmenizi sağlamak için tasarlanmıştır”.

Ancak Eliza etkisi Weizenbaum’a dönmek için tek neden olmaktan çok uzak. Yazılımla yaşadığı deneyim, dikkate değer bir yolculuğun başlangıcıydı. Prestijli bir kariyere sahip bir MIT profesörü olarak, kendi deyimiyle, “modern bilimin katedralinde bir piskopos değilse bile baş rahipti”. Ancak 1970’lere gelindiğinde Joseph Weizenbaum, meslektaşlarının dünya görüşünü kınayan ve çalışmalarının yarattığı tehlikelere karşı uyaran makaleler ve kitaplar yayınlayan bir sapkın haline gelmişti. Yapay zekanın “dünyamızın deliliğinin bir göstergesi” olduğuna inanmaya başladı.

Bugün, yapay zekanın bir tür tehdit oluşturduğu görüşü artık bu konuda çalışanlar arasında bir azınlık pozisyonu değil. En çok hangi riskler konusunda endişelenmemiz gerektiği konusunda farklı görüşler var, ancak Timnit Gebru’dan Geoffrey Hinton’a – her ikisi de eski Google bilgisayar bilimcisi – kadar birçok önde gelen araştırmacı, teknolojinin zehirli olabileceği yönündeki temel görüşü paylaşıyor. Weizenbaum’un kötümserliği, hayatının son otuz yılında onu bilgisayar bilimcileri arasında yalnız bir figür haline getirdi; 2023’te daha az yalnız olacaktı.

Weizenbaum’un düşüncelerinde şu anda acilen geçerli olan çok şey var. Belki de en temel sapkınlığı, Weizenbaum’un sadece yaşamakla kalmayıp merkezi olarak katıldığı bilgisayar devriminin aslında bir karşı devrim olduğu inancıydı. Baskıcı iktidar yapılarını yıkmak yerine onları güçlendirdi. İnsanlığımızı genişletmek yerine daralttı, insanları kendilerini makinelerden biraz daha fazlası olarak düşünmeye sevk etti. Bu kadar çok kararı bilgisayarlara bırakarak, daha eşitsiz ve daha az rasyonel bir dünya yarattığımızı, insan aklının zenginliğinin kodun anlamsız rutinleri içinde düzleştirildiğini düşünüyordu.

Weizenbaum, her insanın belirli bir tarihin ürünü olduğunu söylemekten hoşlanırdı. Onun fikirleri, her şeyden önce 20. yüzyılın vahşeti ve kişisel şeytanlarının talepleri tarafından şekillendirilen kendi özel tarihinin izlerini taşır. Bilgisayarlar ona doğal geliyordu. Zor olanın hayat olduğunu söylüyordu.

İnsan olmanın ne anlama geldiği – ve bir insanın bir bilgisayardan ne kadar farklı olduğu – Weizenbaum’un üzerinde düşünmek için çok zaman harcadığı bir şeydi. Bu yüzden kendi insanlığının en başından beri tartışmaya açık olması uygun. Annesi zor bir doğum yapmış ve sonuçta biraz hayal kırıklığı yaşamış. Weizenbaum daha sonra, “Sonunda ona beni gösterdiğinde, kanlı bir karmaşa olduğumu ve neredeyse insan gibi görünmediğimi düşünmüş,” diye hatırlıyor. “Bunun kendi çocuğu olması gerektiğine inanamıyordu.”

1923 yılında Berlin’de asimile olmuş, üst-orta sınıf bir Yahudi ailenin en küçük oğlu olarak dünyaya geldi. Bugün güneydoğu Polonya ve batı Ukrayna’yı kapsayan Galiçya’dan Almanya’ya 12 yaşında göç etmiş olan babası Jechiel, toplumda rahat bir yer, güzel bir daire ve çok daha genç Viyanalı bir eş (Weizenbaum’un annesi) edinmiş başarılı bir kürkçüydü. Jechiel en başından beri oğluna, hayatının geri kalanında Weizenbaum’un peşini bırakmayacak bir aşağılama ile davrandı. Weizenbaum daha sonra belgesel film yapımcıları Peter Haas ve Silvia Holzinger’e “Babam benim değersiz bir moron, tam bir aptal olduğuma, asla bir şey olamayacağıma kesinlikle inanıyordu” dedi.

Anı biriktirecek yaşa geldiğinde Naziler her yerdeydi. Ailesi, Hitler’in paramiliter birlikleri SA’nın uğrak yeri olan bir barın yakınında yaşıyordu ve bazen insanların arka odada dövülmek üzere içeri sürüklendiğini görüyordu. Bir keresinde dadısıyla dışarıdayken, silahlı komünistler ve Naziler sıraya dizilmiş ve birbirlerine ateş etmeye başlamışlar. Dadı, kurşunlar durana kadar onu park halindeki bir arabanın altına itmiş.

Hitler’in 1933’te şansölye olmasından kısa bir süre sonra hükümet, devlet okullarındaki Yahudi sayısını ciddi şekilde kısıtlayan bir yasa çıkardı. Weizenbaum bir Yahudi erkek okuluna nakledilmek zorunda kaldı. Ostjuden ile ilk teması burada oldu: Doğu Avrupa’dan gelen, yoksul, paçavralar giymiş, Yidiş konuşan Yahudiler. Weizenbaum’a göre Mars’tan da gelmiş olabilirlerdi. Yine de onlarla geçirdiği zaman ona daha sonra “yeni bir yoldaşlık duygusu” ve “baskıya karşı duyarlılık” olarak tanımlayacağı bir şey kazandırdı. Özellikle sınıf arkadaşlarından birine derinden bağlandı. Daha sonra “Kader farklı olsaydı, bu çocuğa karşı eşcinsel bir aşk geliştirirdim” dedi. Çocuk beni “kendi dünyasına götürdü”, Berlin’in Grenadierstrasse çevresindeki Yahudi gettosunun dünyasına. “Hiçbir şeyleri yoktu, hiçbir şeye sahip değillerdi ama bir şekilde birbirlerine destek oluyorlardı” diye hatırlıyor.

Bir gün çocuğu ailesinin evine geri getirdi. Kendisi de bir zamanlar Doğu Avrupa’dan gelen yoksul bir Yahudi çocuğu olan babası tiksinmiş ve öfkelenmişti. Weizenbaum, Jechiel’in çok gururlu olduğunu hatırlıyordu – ve shtetl’den kat ettiği gerçek ve mecazi mesafeler göz önüne alındığında gururlu olmak için bir nedeni vardı. Şimdi oğlu shtetl’i evine geri getiriyordu.

Ailesine yabancılaşmış, sınıf arkadaşlarından daha zengin ve Nazi Almanyası’nda bir Yahudi: Weizenbaum kendini hiçbir yerde rahat hissetmiyordu. İçgüdüsünün her zaman “beni besleyen eli ısırmak”, baba figürünü kışkırtmak, baş belası olmak olduğunu söylüyordu. Ve bu içgüdü muhtemelen babasının kendisine karşı düşmanlığından ve sevdiği çocuğa karşı bağnazlığından aldığı dersten kaynaklanıyordu: tehlikenin kişinin evinde, insanlarında, kabilesinde yatabileceği.

1936’da aile, muhtemelen Jechiel’in bir SA üyesinin kız arkadaşıyla yatması nedeniyle aniden Almanya’yı terk etti. Weizenbaum’un teyzesinin Detroit’te bir fırını vardı, bu yüzden oraya gittiler. 13 yaşındayken kendini bildiği her şeyden 4000 mil uzakta buldu. “Çok ama çok yalnızdım” diye hatırlıyor. Okul, gerçeklikten – özellikle de ilk başta konuşamadığı İngilizceyi gerektirmeyen cebirden – kaçmak için bir sığınak oldu. “İnsanın çalışabileceği onca şey arasında” diyor daha sonra, “matematik açık ara en kolayı gibi görünüyordu. Matematik bir oyundur. Tamamen soyuttur.”

Okulundaki metal işleme sınıfında torna tezgahı kullanmayı öğrendi. Bu deneyim onu beyninden çıkarıp bedenine soktu. Yaklaşık 70 yıl sonra, bu yeni becerinin yol açtığı farkındalığa baktı: zeka “sadece kafada değil, aynı zamanda kolda, bilekte, eldedir”. Böylece, genç yaşta, daha sonra yapay zekanın uygulayıcısı ve eleştirmeni olarak kariyerine yön verecek iki kavram ortaya çıkmıştır: bir yandan soyutlamanın zevklerine karşı bir takdir; diğer yandan bu zevklerin kaçışçı olduğuna dair bir şüphe ve buna bağlı olarak insan zekasının herhangi bir parçada değil tüm insanda var olduğuna dair bir anlayış.

Weizenbaum 1941 yılında yerel bir devlet üniversitesine kaydoldu. Wayne Üniversitesi işçi sınıfına ait bir yerdi: ucuzdu, tam zamanlı işlerde çalışan öğrencilerle doluydu. Berlin’de ekilen toplumsal bilinç tohumları büyümeye başladı: Weizenbaum, Detroit’te Siyahlara uygulanan baskı ile Hitler döneminde Yahudilere uygulanan baskı arasında paralellikler gördü. Bu aynı zamanda şehirdeki sınıf mücadelesinin de alevlendiği bir dönemdi – Birleşik Otomobil İşçileri sendikası Ford ile ilk sözleşmesini Weizenbaum’un üniversiteye girdiği yıl kazandı.

Weizenbaum’un giderek artan sol siyasi bağlılıkları matematik sevgisini karmaşık hale getirdi. “Dünya ya da toplum için bir şeyler yapmak istiyordum,” diye hatırlıyor. “Sanki dünya iyi gidiyormuş, hatta hiç var olmamış gibi düz matematik çalışmak – istediğim bu değildi.” Çok geçmeden şansını yakaladı. 1941’de ABD ikinci dünya savaşına girdi; ertesi yıl Weizenbaum askere alındı. Sonraki beş yılını Ordu Hava Birlikleri’nde meteorolog olarak çalışarak ve ABD’nin farklı üslerinde görev yaparak geçirdi. Daha sonra ordunun bir “kurtuluş” olduğunu söyledi. Ailesinden kurtulmak ve aynı zamanda Hitler’le savaşmak ne kadar eğlenceliydi.

İzinli olarak evdeyken, Yahudi bir sivil haklar aktivisti ve Amerika Demokratik Sosyalistleri’nin ilk üyelerinden Selma Goode ile aşk yaşamaya başladı. Çok geçmeden evlendiler ve bir erkek çocukları oldu ve savaştan sonra Weizenbaum Detroit’e geri döndü. Orada, artık GI Bill aracılığıyla federal hükümet tarafından finanse edilen Wayne’deki eğitimine devam etti.

Ardından, 1940’ların sonunda çift boşandı ve oğullarının velayetini Goode aldı. Weizenbaum daha sonra “Bu benim için inanılmaz derecede trajikti” dedi. “Bunu atlatmam uzun zaman aldı.” Akli dengesi hep bozuktu: kızı Pm – “Pim” olarak telaffuz ediliyor ve adını New York’un sol görüşlü günlük gazetesi PM’den alıyor – bana üniversitedeyken anoreksiya nedeniyle hastaneye kaldırıldığını söyledi. Yaptığı her şeyi kötü yaptığını düşünüyordu. Ordudayken çavuşluğa terfi etmiş ve onurlu bir şekilde terhis edilmiş; yine de savaş çabalarını bir şekilde engellediğine ikna olarak ordudan ayrılmış. Daha sonra kendinden şüphe duymasını babasının ona sürekli değersiz olduğunu söylemesine bağladı. “Çocukken böyle bir şey size tekrarlanırsa, sonunda kendiniz de buna inanırsınız” diye düşündü.

Selma’nın ayrılışının yarattığı kişisel krizin ardından iki önemli ilk karşılaşma geldi. Psikanalize girdi ve bilgisayar işine girdi.

O günlerde bilgisayar, tıpkı ruh gibi, bir iç mekandı. Weizenbaum 2010 tarihli bir belgeselde “Bilgisayara gitmiyordunuz,” diyordu. “Onun yerine içine giriyordunuz.” Savaş, matematiksel hesaplamanın zor işlerini mekanik hale getirebilecek devasa makineler inşa etmek için itici güç sağlamıştı. Bilgisayarlar Nazi şifrelemesini kırmaya ve topçuları hedeflemek için en iyi açıları bulmaya yardımcı oldu. Soğuk savaşın ilk günlerinde askeri-endüstriyel kompleksin savaş sonrası konsolidasyonu, teknolojinin geliştirilmesi için ABD hükümetinin büyük miktarlarda para harcamasına neden oldu. 1940’ların sonlarına doğru modern bilgisayarın temelleri atılmıştı.

Ama bir tane edinmek hala kolay değildi. Bu yüzden Weizenbaum’un profesörlerinden biri kendi bilgisayarını yapmaya karar verdi. Öğrencilerden oluşan küçük bir ekip kurdu ve Weizenbaum’u katılmaya davet etti. Bilgisayarı inşa ederken Weizenbaum’un mutluluğu ve amacı arttı. “Hayat doluydum ve işim konusunda hevesliydim” diye hatırlıyor. İşte ilk kez ortaokul cebirinde karşılaştığı soyutlama güçleri. Cebir gibi, bilgisayar da gerçekliği modelliyor ve böylece basitleştiriyordu – ancak bunu öyle bir sadakatle yapabiliyordu ki, kişi bunun yalnızca bir temsil olduğunu kolayca unutabiliyordu. Yazılım aynı zamanda bir ustalık hissi de veriyordu. “Programcı, bir tiyatro yönetmeniyle kıyaslanamayacak kadar büyük bir sahne üzerinde bir tür güce sahiptir,” diyordu daha sonra 2007 tarihli Rebel at Work belgeselinde. “Shakespeare’inkinden bile daha büyük.”

Bu sıralarda Weizenbaum, Ruth Manes adında bir öğretmenle tanıştı. 1952 yılında evlendiler ve üniversite yakınlarında küçük bir daireye taşındılar. Kızları Miriam bana “kültürel olarak ondan daha uzak olamazdı” dedi. İlk eşi gibi Yahudi bir sosyalist değildi – ailesi güneyliydi. Miriam, evliliklerinin onun açısından “normalliğe ve yerleşik bir hayata ulaşmayı” temsil ettiğini söyledi. Politik tutkuları soğumuştu.

1960’ların başında Weizenbaum Silikon Vadisi’nde General Electric’te programcı olarak çalışıyordu. Ruth’la birlikte üç kız çocuk büyütüyorlardı ve yakında dördüncü çocukları olacaktı. GE’de Donanma için füzeleri fırlatan bir bilgisayar ve Bank of America için çekleri işleyen bir bilgisayar üretti. Daha sonra “O zamanlar pişmanlık duyabileceğim bazı sosyal yan etkileri olan teknolojik bir girişimde işbirliği yaptığım hiç aklıma gelmemişti” dedi.

1963 yılında prestijli Massachusetts Teknoloji Enstitüsü aradı. Misafir doçent olarak fakülteye katılmak ister miydi? Weizenbaum, “Bu, genç bir çocuğa oyuncak trenler yapan bir oyuncak fabrikasında çalışma şansı sunmak gibiydi,” diye hatırlıyor.

Weizenbaum’un Detroit’te yapımına yardım ettiği bilgisayar bir devdi, bütün bir amfiyi kaplıyor ve kışın kütüphaneyi sıcak tutmaya yetecek kadar ısı yayıyordu. Onunla etkileşim kurmak son derece yapılandırılmış bir dizi ritüel içeriyordu: elle bir program yazıyor, bunu delikli kartlar üzerinde bir delik deseni olarak kodluyor ve ardından kartları bilgisayarda çalıştırıyordunuz. Bu, teknolojinin ilk günlerinde standart işletim prosedürüydü ve programlamayı zahmetli ve zahmetli hale getiriyordu.

MIT’nin bilgisayar bilimcileri bir alternatif aradılar. Üniversite, 1963 yılında Pentagon’dan aldığı 2,2 milyon dolarlık bir hibeyle, “makine destekli biliş” de dahil olmak üzere birçok anlama gelen bir kısaltma olan MAC Projesi’ni başlattı. Plan, daha erişilebilir ve bireysel ihtiyaçlardan sorumlu bir bilgisayar sistemi yaratmaktı.

Bu amaçla, bilgisayar bilimcileri “zaman paylaşımı” adı verilen bir teknolojiyi mükemmelleştirdiler ve bu da bugün kanıksadığımız türden bir bilgisayar kullanımını mümkün kıldı. Bir yığın delikli kart yüklemek ve ertesi gün sonucu görmek için geri dönmek yerine, bir komut yazıp anında yanıt alabiliyordunuz. Dahası, birden fazla kişi tek bir ana bilgisayarı ayrı terminallerden aynı anda kullanabiliyordu, bu da makinelerin daha kişisel görünmesini sağlıyordu.

Zaman paylaşımıyla birlikte yeni bir yazılım türü ortaya çıktı. MIT’nin sisteminde çalışan programlar arasında bir kullanıcıdan diğerine mesaj gönderme (e-postanın öncüsü), metin düzenleme (ilk kelime işlemci) ve 15.000 dergi makalesi içeren bir veritabanında arama yapma (ilkel bir JSTOR) programları vardı. Zaman paylaşımı insanların program yazma şeklini de değiştirdi. Weizenbaum daha sonra bu teknolojinin “bilgisayarla konuşarak etkileşim kurmayı” mümkün kıldığını hatırlayacaktır. Yazılım geliştirme, programcı ve makine arasında bir diyalog olarak ortaya çıkabilirdi: biraz kod denersiniz, ne geri geldiğini görürsünüz, sonra biraz daha denersiniz.

Weizenbaum daha da ileri gitmek istedi. Ya bir bilgisayarla İngilizce gibi doğal bir dilde konuşabilseydik? Eliza’nın yaratılmasına rehberlik eden soru buydu, başarısı üniversitede adını duyurdu ve 1967’de kadro almasına yardımcı oldu. Aynı zamanda Weizenbaum’u 1958 yılında John McCarthy ve Marvin Minsky tarafından kurulan MIT Yapay Zeka Projesi’nin yörüngesine soktu.

McCarthy birkaç yıl önce akademik bir çalıştay için bir başlığa ihtiyaç duyduğunda “yapay zeka” ifadesini bulmuştu. Bu ifade sibernetik gibi mevcut araştırma alanlarıyla çakışmayacak kadar tarafsız, disiplinler arası katkıları çekecek kadar şekilsiz ve makinelerin yapabilecekleri konusundaki radikalizmini (ya da isterseniz küstahlığını) yansıtacak kadar da cüretkârdı. Bu radikalizm orijinal atölye önerisinde de teyit edilmişti. “Öğrenmenin her yönü veya zekanın diğer herhangi bir özelliği prensipte o kadar kesin bir şekilde tanımlanabilir ki bir makine bunu simüle edebilir” diyordu.

Minsky iddialı ve kışkırtıcıydı; en sevdiği oyunlardan biri, insan beyninin, işlevleri insan yapımı makineler tarafından yeniden üretilebilecek, hatta aşılabilecek bir “et makinesi “nden başka bir şey olmadığını ilan etmekti. Weizenbaum en başından beri ondan hoşlanmıyordu. Weizenbaum’u rahatsız eden teknolojinin yeteneklerine olan inancı değildi; kendisi de 1960’ların ortalarında bilgisayarların muazzam bir ilerleme kaydettiğini görmüştü. Weizenbaum’un Minsky ile ve bir bütün olarak YZ topluluğu ile sorunu, daha ziyade, insanlık durumunun doğası hakkındaki temel bir anlaşmazlıktan kaynaklanıyordu.

Weizenbaum 1967’de Eliza hakkındaki ilk makalesinin devamında, hiçbir bilgisayarın bir insanı tam olarak anlayamayacağını savundu. Sonra bir adım daha ileri gitti: hiçbir insan başka bir insanı asla tam olarak anlayamaz. Ona göre herkes, yanımızda taşıdığımız benzersiz yaşam deneyimlerinden oluşur ve bu miras, birbirimizi anlama becerimize sınırlar koyar. İletişim kurmak için dili kullanabiliriz, ancak aynı kelimeler farklı insanlar için farklı çağrışımlar yaratır – ve bazı şeyler hiç iletilemez. Weizenbaum, “Her birimiz hakkında, herhangi bir fikrimizin kendimiz dışındaki evrene tam olarak iletilmesini kesinlikle engelleyen nihai bir gizlilik var” diye yazdı.

Bu, Minsky ya da McCarthy’ninkinden çok farklı bir bakış açısıydı. Açıkça psikanalizin etkisini taşıyordu. Burada zihin bir et makinesi olarak değil, derinliği ve tuhaflığı olan bir ruh olarak ele alınıyordu. Birbirimize ve hatta kendimize karşı bile çoğu zaman şeffaf değilsek, bir bilgisayarın bizi tanıması için ne gibi bir umut olabilir ki?

Yine de, Eliza’nın da gösterdiği gibi, insanları bir bilgisayarın onları tanıdığını hissetmeleri ve o bilgisayarı insan olarak görmeleri için kandırmak şaşırtıcı derecede kolaydı. Weizenbaum, 1966 tarihli orijinal makalesinde bile bu fenomenin sonuçlarından endişe duymuş ve insanların bilgisayarları “güvenilirliği hak eden” “yargılama” güçlerine sahip olarak görmelerine yol açabileceği konusunda uyarıda bulunmuştu. “Burada belli bir tehlike pusuda bekliyor” diye yazmıştı.

1960’ların ortalarında, bu kadar ileri gitmeye istekliydi. Bir tehlikeye işaret etti ama üzerinde durmadı. Ne de olsa Holokost’tan kaçmış, kendini her zaman bir sahtekar gibi hissetmiş ama teknolojinin yüksek tapınağında prestij ve kendine değer bulmuş depresif bir çocuktu. İyi olduğunuz, keyif aldığınız bir şeyin dünya için kötü olduğunu kabul etmek zor olabilir – ve bu bilgiye göre hareket etmek daha da zordur. Weizenbaum için bundan sonra ne yapacağını bilmek için bir savaş gerekecekti.

4 Mart 1969’da MIT öğrencileri Vietnam savaşını ve üniversitelerinin bu savaştaki rolünü protesto etmek için bir günlük “araştırma durdurma” eylemi düzenledi. İnsanlar, bir gece önce başlayan bir dizi konuşma ve panel için kampüsün kalbindeki Kresge Oditoryumu’na yığılmak üzere kar ve soğuğa göğüs gerdi. Noam Chomsky ve savaş karşıtı senatör George McGovern konuşma yaptı. MIT’de öğrenci aktivizmi büyümekteydi, ancak bu o güne kadarki en büyük gösteriydi ve ulusal basında geniş yer buldu. Baş organizatörlerden biri daha sonra şöyle yazmıştı: “1969’da bilim insanlarının büyük bir kötülüğün suç ortağı olduğu duygusu hakimdi ve 4 Mart’ın itici gücü de bunun nasıl değiştirileceğiydi.”

Weizenbaum eylemi destekledi ve dönemin siyasi dinamizminden güçlü bir şekilde etkilendi. “Sivil haklar hareketi, Vietnam’daki savaş ve MIT’nin silah geliştirmedeki rolü birleşene kadar eleştirel olmaya başlamamıştım,” diye açıklıyor daha sonra verdiği bir röportajda. “Ve bir kez bu doğrultuda düşünmeye başladığımda, duramadım.” Hayatının son yıllarında, 1960’lardaki siyasallaşmasını Detroit’teki solcu günlerinin toplumsal bilincine ve Nazi Almanya’sındaki deneyimlerine bir dönüş olarak değerlendirecekti: Alman yazar Gunna Wendt’e “Kim olduğuma sadık kaldım” demişti.

Uzmanlıklarını Nazi rejimine ödünç veren Alman bilim insanları hakkında düşünmeye başladı. “Kendime şunu sormalıydım: Bu tür bir rol oynamak istiyor muyum?” diye hatırlıyor 1995 yılında. Önünde iki seçenek vardı. Biri “tüm bu tür düşünceleri bastırmak”, bastırmaktı. Diğeri ise “ciddi bir şekilde bakmaktı”.

Ciddiyetle bakmak, kendi alanı ile o sırada Vietnamlı çocukların üzerine napalm yağdıran savaş makinesi arasındaki yakın bağları incelemeyi gerektirecekti. Savunma Bakanı Robert McNamara, Pentagon’a matematiksel bir zihniyet getirme mücadelesinin bir parçası olarak bilgisayarı savundu. Sahadan elde edilen ve yazılımla analiz edilen veriler, askeri planlamacıların birlikleri nereye yerleştireceklerine ve bombaları nereye atacaklarına karar vermelerine yardımcı oluyordu.

1969 yılına gelindiğinde MIT, Pentagon’dan ülkedeki diğer tüm üniversitelerden daha fazla para alıyordu. Laboratuvarlarında Vietnam için tasarlanmış bir dizi proje yürütülüyordu; örneğin bir makineli tüfekçinin aşağıdaki ormandaki hedefleri yok etmesini kolaylaştırmak için helikopterleri stabilize edecek bir sistem. Weizenbaum’un himayesinde Eliza’yı yarattığı MAC Projesi, başlangıcından beri Pentagon tarafından finanse ediliyordu.

Weizenbaum bu suç ortaklığıyla boğuşurken, meslektaşlarının çoğunlukla araştırmalarının hangi amaçlarla kullanılabileceğini umursamadıklarını fark etti. Eğer biz yapmazsak, başkası yapar, demişler. Ya da: bilim insanları politika yapmaz, bunu politikacılara bırakın. Weizenbaum’a bir kez daha Nazi Almanyası’nda çalışmalarının siyasetle hiçbir ilgisi olmadığı konusunda ısrar eden bilim insanlarını hatırlattı.

Sorumluluk duygusuyla yanıp tutuşan Weizenbaum kendini savaş karşıtı harekete adadı. Kızı Pm bana, “O kadar radikalleşti ki, o noktada pek fazla bilgisayar araştırması yapmadı” dedi. Bunun yerine sokak gösterilerine katıldı ve savaş karşıtı öğrencilerle tanıştı. Mümkün olan her yerde MIT’deki statüsünü kullanarak üniversitenin öğrenci aktivizmine karşı muhalefetini zayıflatmaya çalıştı. Öğrenciler 1970 yılında rektörün ofisini işgal ettikten sonra Weizenbaum disiplin komitesinde görev aldı. Kızı Miriam’a göre, yasal sürece sıkı sıkıya bağlı kalınması konusunda ısrarcı olmuş, böylece öğrencilerin diplomalarını alarak mezun olabilmeleri için işlemleri mümkün olduğunca uzatmıştır.

Bu dönemde Eliza’yla ilgili çözülmemiş bazı sorular onu daha fazla rahatsız etmeye başladı. İnsanlar, özellikle de daha iyi bilmesi gereken uzmanlar, sohbet robotuna neden bu kadar hevesli ve hayalperest bir şekilde tepki göstermişti? Bazı psikiyatristler Eliza’yı otomatik psikoterapiye doğru atılan ilk adım olarak selamlamış; bazı bilgisayar bilimcileri ise dili anlayan yazılım yazma sorununa bir çözüm olarak kutlamıştı. Weizenbaum bu tepkilerin “daha derin sorunların belirtisi” olduğuna ikna oldu – sorunlar bir şekilde Vietnam’daki savaşla bağlantılıydı. Ve bunların ne olduğunu bulamazsa, profesyonel olarak devam edemeyecekti.

1976’da Weizenbaum magnum opus’unu yayınladı: Bilgisayar Gücü ve İnsan Aklı: Yargıdan Hesaplamaya. Özgürlükçü aktivist Karl Hess kitabın tanıtım yazısında, “Kitap beni denizin çarpması gibi etkiledi,” diyordu. Kitap gerçekten de bunaltıcı. Bilgisayarlar hakkında çoğu zaman parlak düşüncelerin kaotik bir sağanağı. Dizine bir göz atmak Weizenbaum’un muhataplarının çeşitliliğini ortaya koyuyor: sadece Minsky ve McCarthy gibi meslektaşları değil, aynı zamanda siyaset felsefecisi Hannah Arendt, eleştirel teorisyen Max Horkheimer ve deneysel oyun yazarı Eugène Ionesco. Kaliforniya’daki Stanford Üniversitesi’ndeki bursunu tamamladıktan sonra kitap üzerinde çalışmaya başlamıştı; burada hiçbir sorumluluğu yoktu, büyük bir ofisi vardı ve edebiyat eleştirmenleri, filozoflar ve psikiyatristlerle çok sayıda teşvik edici tartışmalar yapıyordu. Bilgisayar Gücü ve İnsan Aklı ile bilgisayar bilimini reddetmekten ziyade onu kırmaya ve alternatif geleneklerin içeri akmasına izin vermeye çalışıyordu.

Kitabın iki ana argümanı var. Birincisi: “İnsan ve makine arasında bir fark vardır.” İkincisi: “Bilgisayarlara yaptırılıp yaptırılamayacağından bağımsız olarak, bilgisayarlara yaptırılmaması gereken bazı görevler vardır.” Kitabın alt başlığı – Yargıdan Hesaplamaya – bu iki ifadenin birbirine nasıl uyduğuna dair bir ipucu sunuyor.

Weizenbaum’a göre yargı, değerler tarafından yönlendirilen seçimleri içerir. Bu değerler yaşam deneyimimiz boyunca edinilir ve zorunlu olarak nitelikseldir: kodlarla yakalanamazlar. Buna karşın hesaplama nicelikseldir. Bir karara varmak için teknik bir hesaplama kullanır. Bilgisayarlar yalnızca hesaplama yapabilir, yargılama yapamaz. Bunun nedeni insan olmamaları, yani insani bir geçmişe sahip olmamalarıdır – bir anneden doğmamışlardır, çocuklukları olmamıştır, insan bedenlerinde yaşamamaktadırlar ya da insan bilinçdışına sahip bir insan ruhuna sahip değildirler – ve dolayısıyla değer oluşturacak bir temele sahip değildirler.

Bilgisayarları sadece hesaplama gerektiren görevlerle sınırlandırsaydık bu sorun olmazdı. Ancak büyük ölçüde “yapay zeka” olarak adlandırdığı şey tarafından yürütülen başarılı bir ideolojik kampanya sayesinde, insanlar giderek artan bir şekilde insanları ve bilgisayarları birbirinin yerine kullanılabilir olarak görmeye başladı. Sonuç olarak, bilgisayarlara yetkin olmadıkları konularda yetki verilmişti. (Weizenbaum, bir bilgisayarın hukuki bir ortamda bir yargıcın ya da klinik bir ortamda bir psikiyatristin işlevlerini yerine getirmesine izin vermenin “korkunç bir müstehcenlik” olacağını yazmıştır). İnsanları ve bilgisayarları birbirinin yerine geçebilir olarak görmek aynı zamanda insanların kendilerini bilgisayar olarak görmeye ve dolayısıyla onlar gibi davranmaya başladıkları anlamına geliyordu. Hesaplama için yargılamayı terk ederek, kendilerini yansımasında gördükleri makineyi yansıtarak rasyonel yetilerini mekanikleştirdiler.

Bunun özellikle yıkıcı politika sonuçları oldu. Hükümet ve iş dünyasındaki güçlü figürler, kendilerini sorumluluktan kurtarırken belirli uygulamaları sürdürmenin bir yolu olarak kararları bilgisayar sistemlerine devredebiliyordu. Weizenbaum, tıpkı bombardıman pilotunun “köylerini hiç görmediği için yanan çocuklardan sorumlu olmaması” gibi, yazılımın da generallere ve yöneticilere neden oldukları acılardan benzer bir psikolojik mesafe sağladığını yazmıştır.

Bilgisayarların daha fazla karar almasına izin vermek aynı zamanda alınabilecek olası kararların yelpazesini de daralttı. Algoritmik bir mantığa bağlı olan yazılım, insan muhakemesinin esnekliğinden ve özgürlüğünden yoksundu. Bu, hesaplamanın kalbindeki muhafazakar dürtüyü açıklamaya yardımcı olur. Weizenbaum, tarihsel olarak bilgisayarın “tam zamanında” geldiğini yazmıştır. Ama ne için tam zamanında? “Aksi takdirde ya kökten yenilenecek ya da kendilerinden beklenen talepler altında sallanmalarına izin verilecek olan sosyal ve siyasi yapıları kurtarmak – ve neredeyse hiç bozulmadan kurtarmak, hatta sağlamlaştırmak ve istikrara kavuşturmak – için tam zamanında.”

Bilgisayarlar 1960’larda ana akım haline geldi ve Amerikan kurumları içinde derin kökler saldı, tam da bu kurumlar birçok cephede ciddi zorluklarla karşı karşıya kalırken. Sivil haklar hareketi, savaş karşıtı hareket ve Yeni Sol, dönemin düzen karşıtı enerjilerinin ifade bulduğu kanallardan sadece birkaçıdır. Protestocular, sadece Vietnam savaşındaki rolü nedeniyle değil, aynı zamanda kapitalizmin hapsedici güçleriyle olan ilişkisi nedeniyle de bilgi teknolojisini sık sık hedef aldılar. 1970 yılında Wisconsin Üniversitesi’ndeki eylemciler bir bina işgali sırasında bir ana bilgisayarı tahrip ettiler; aynı yıl protestocular New York Üniversitesi’nde bir ana bilgisayarı neredeyse napalm ile havaya uçuruyorlardı.

Bu, Bilgisayar Gücü ve İnsan Aklı’nın ortaya çıktığı atmosferdi. Hesaplama yoğun bir şekilde politize olmuştu. Nasıl bir yol izlenmesi gerektiği hâlâ açık bir soruydu. Weizenbaum kitabın girişinde bir tarafta “bilgisayarların yapabileceklerinin sınırları olduğuna inananlar” olduğunu yazıyor. Diğer tarafta ise “bilgisayarların her şeyi yapabileceğine, yapması gerektiğine ve yapacağına inananlar”, yani yapay zekâlar vardı.

Marx bir keresinde Kapital adlı eserini “burjuvazinin kafasına fırlatılmış en korkunç füze” olarak tanımlamıştı. Bilgisayar Gücü ve İnsan Aklı da yapay zekâya benzer bir güçle saldırıyor gibi görünüyordu. Orijinal yapay zeka gurusu McCarthy öfkeliydi: “Ahlakçı ve tutarsız”, “yeni sol slogancılığın” bir eseri, diye yazdı bir eleştirisinde. Minsky’nin doktora öğrencisi olan MIT Yapay Zeka Laboratuvarı’ndan Benjamin Kuipers, Weizenbaum’un “yapay zeka araştırma topluluğuna yönelik sert ve bazen tiz sesli suçlamalarından” şikayet etti. Weizenbaum kendini mücadelenin içine attı: McCarthy’nin eleştirisine madde madde bir yanıt yazdı, bu da Yale yapay zeka bilimcisi Roger C. Schank’ın bir yanıt vermesine yol açtı – Weizenbaum da buna yanıt verdi. Belli ki bu mücadeleden zevk alıyordu.

1977 baharında tartışma New York Times’ın ön sayfasına kadar taşındı. “Makineler düşünebilir mi? Düşünmeliler mi? Gazeteci Lee Dembart, bilgisayar dünyası bu sorularla ilgili temel bir tartışmanın ortasında” diye yazdı. Weizenbaum MIT’deki ofisinden bir röportaj verdi: “Sapkınlık ilan ettim ve ben bir kafirim.”

Bilgisayar Gücü ve İnsan Aklı, yazarı bilgisayar bilimleri dünyasından geldiği için böyle bir heyecan yarattı. Ancak bir başka etken de yapay zekanın kuşatılmış durumuydu. 1970’lerin ortalarına gelindiğinde, bütçe sıkışıklığı ve hükümet çevrelerinde bu alanın abartıldığı kadar başarılı olamaması nedeniyle artan hayal kırıklığının bir araya gelmesi ilk “YZ kışı “nı yaratmıştı. Araştırmacılar artık fon bulmakta zorlanıyordu. Weizenbaum’a verdikleri tepkinin yüksek sıcaklığı, muhtemelen en azından kısmen, Weizenbaum’un onları düştükleri anda tekmelediği algısından kaynaklanıyordu.

Yapay zeka, bu yıllarda eleştirel olarak yeniden değerlendirilen tek hesaplama alanı değildi. Kongre son zamanlarda, insanların mahremiyetini korumak ve bilgisayarlı karar vermenin potansiyel zararlarını azaltmak amacıyla hükümetler ve işletmeler tarafından “elektronik veri işlemeyi” düzenlemenin yollarını düşünüyordu. (Sulandırılmış Gizlilik Yasası 1974’te kabul edildi.) Kampüslerdeki bilgisayar merkezlerine saldıran radikaller ve Capitol Hill’in veri düzenlemelerini yakından incelemesi arasında ilk “teknoloji patlaması” gelmişti. Weizenbaum için iyi bir zamanlamaydı.

Bilgisayar Gücü ve İnsan Aklı ona ulusal bir ün kazandırdı. Çok sevinmişti. Kızı Miriam bana “Tanınmak onun için çok önemliydi” dedi. “MIT laboratuvarının ev kötümseri” (Boston Globe) olarak, yapay zeka ve bilgisayarlar hakkında yazan gazeteciler için her zaman unutulmaz bir alıntı için güvenilebilecek bir kaynak haline geldi.

Ancak çocukluğundan beri onu rahatsız eden şüpheler ve endişeler asla peşini bırakmadı. Miriam bana “Kendini bir sahtekar gibi hissettiğini söylediğini hatırlıyorum” dedi. “İnsanların düşündüğü kadar zeki olduğunu düşünmüyordu. Kendini hiçbir zaman yeterince iyi hissetmedi.” Kitapla ilgili heyecan azaldıkça, bu duygular daha da baskın hale geldi. Kızı Pm bana Weizenbaum’un 1980’lerin başında intihara teşebbüs ettiğini söyledi. Bir noktada hastaneye kaldırılmış; bir psikiyatrist ona narsisistik kişilik bozukluğu teşhisi koymuş. Büyüklenmecilik ve keder arasındaki keskin salınımlar sevdiklerine zarar veriyordu. Pm, “Çok hasarlı bir insandı ve sevgi ve aileyi ancak bu kadar özümseyebilirdi,” dedi.

1988 yılında MIT’den emekli oldu. Miriam bana “Sanırım sonunda kendini oldukça yabancılaşmış hissetti” dedi. 1990’ların başında ikinci eşi Ruth onu terk etti; 1996’da, 60 yıl önce kaçtığı Berlin’e geri döndü. “Almanya’ya geri döndüğünde çok daha mutlu ve hayata bağlı görünüyordu,” dedi Pm. Orada hayatı daha kolay buluyordu. Ünü ABD’de azalırken, Almanya’da arttı. Popüler bir konuşmacı oldu, konferans salonlarını doldurdu ve Almanca röportajlar verdi.

Weizenbaum, 1970’lerde olduğundan çok daha karamsar bir geleceğe sahipti. İklim değişikliği onu dehşete düşürüyordu. Yine de radikal bir değişim olasılığına dair umudunu koruyordu. Süddeutsche Zeitung için Ocak 2008’de yazdığı bir makalede belirttiği gibi: “Bilim ve teknolojinin dünyayı iklim bozulmasının etkilerinden kurtaracağı inancı yanıltıcıdır. Hiçbir şey çocuklarımızı ve torunlarımızı dünyevi bir cehennemden kurtaramayacaktır. Ta ki küresel kapitalizmin açgözlülüğüne karşı direnişi örgütleyene kadar.”

İki ay sonra, 5 Mart 2008’de Weizenbaum mide kanserinden öldü. Kendisi 85 yaşındaydı.

Weizenbaum öldüğünde yapay zeka kötü bir üne sahipti. Bu terim başarısızlıkla eşanlamlı hale gelmişti. McCarthy’nin Amerikan yüzyılının zirvesinde formüle ettiği hedefler, sonraki on yıllarda yavaş yavaş söndü. Bilgisayarların konuşmayı metne dönüştürmek ya da bir dilden diğerine çeviri yapmak gibi zeka ile ilişkilendirilen görevleri yerine getirmesini sağlamanın beklenenden çok daha zor olduğu ortaya çıktı.

Bugün durum oldukça farklı görünüyor. Konuşma tanıma ve dil çevirisini oldukça iyi yapabilen yazılımlarımız var. Ayrıca yüzleri tanımlayabilen ve bir fotoğrafta görünen nesneleri tanımlayabilen yazılımlarımız da var. Weizenbaum’un ölümünden bu yana gerçekleşen yeni yapay zeka patlamasının temeli budur. En son yinelenmesi, metin, ses ve görüntüleri artan bir karmaşıklıkla sentezleyebilen ChatGPT gibi “üretken yapay zeka” uygulamalarına odaklanmıştır.

Teknik düzeyde, YZ olarak adlandırdığımız teknikler, Weizenbaum’un yarım asır önce bu alana yönelik eleştirilerine başlarken aklında olanlarla aynı değildir. Çağdaş YZ, gevşek bir şekilde insan beyninden esinlenen bir veri işleme mimarisi olan “sinir ağlarına” dayanmaktadır. Sinir ağları, Computer Power and Human Reason çıktığında YZ çevrelerinde büyük ölçüde gözden düşmüştü ve Weizenbaum’un ölümünden birkaç yıl sonrasına kadar ciddi bir canlanma yaşamayacaktı.

Ancak Weizenbaum her zaman bir teknoloji olarak YZ’den ziyade bir ideoloji olarak YZ ile ilgilenmiştir – yani, bir bilgisayarın bir insanın yapabileceği her şeyi yapabileceği ve yapması gerektiği inancıyla. Bu ideoloji hala canlı ve iyi durumda. Hatta Weizenbaum’un zamanında olduğundan daha güçlü bile olabilir.

Weizenbaum’un kabuslarından bazıları gerçek oldu: sözde risk değerlendirme araçları ABD’deki hakimler tarafından kefalet, ceza, şartlı tahliye ve denetimli serbestlikle ilgili önemli kararlar vermek için kullanılırken, yapay zeka destekli sohbet robotları rutin olarak bir insan terapiste gitmeye otomatik bir alternatif olarak lanse ediliyor. Sonuçlar beklediği kadar grotesk olmuş olabilir. Bu yılın başlarında çıkan haberlere göre, Belçikalı iki çocuk babası bir adam, Eliza adlı bir yapay zeka avatarıyla haftalarca konuştuktan sonra kendini öldürdü. Dul eşinin Brüksel merkezli La Libre gazetesiyle paylaştığı sohbet kayıtları, Eliza’nın adamı aktif bir şekilde kendini öldürmeye teşvik ettiğini gösteriyor.

Öte yandan Weizenbaum, YZ’nin yıkıcılık potansiyelinin artık büyük bir endişe konusu olduğunu öğrense muhtemelen sevinirdi. Bu konu sadece politika yapıcıları değil – AB dünyanın ilk kapsamlı YZ düzenlemesini tamamlarken, Biden yönetimi “sorumlu” YZ konusunda bir dizi girişim başlattı – YZ uygulayıcılarını da meşgul ediyor.

Genel olarak, bugün YZ’nin tehlikeleri hakkında iki düşünce okulu var. İlki – Weizenbaum’dan etkilenen – şu anda var olan risklere odaklanıyor. Örneğin, dilbilimci Emily M Bender gibi uzmanlar, ChatGPT’nin altında yer alan türden büyük dil modellerinin, internetten alınan verilerle eğitildikleri için ırkçılık ve cinsiyetçilik gibi gerici bakış açılarını nasıl yansıtabileceğine dikkat çekiyor. Bu tür modellerin bir tür “papağan” olarak anlaşılması gerektiğini belirten yazar ve ortak yazarları, 2021 tarihli etkili bir makalede, “geniş eğitim verilerinde gözlemlediği dilsel form dizilerini, nasıl bir araya geldiklerine dair olasılıksal bilgilere göre gelişigüzel bir şekilde bir araya getirdiğini” yazıyor.

İkinci düşünce okulu spekülatif terimlerle düşünmeyi tercih ediyor. Taraftarları, halihazırda mevcut olan zararlardan ziyade bir gün ortaya çıkabilecek zararlarla, özellikle de “süper zeki” hale gelen ve insan ırkını yok eden bir yapay zekanın “varoluşsal riski” ile ilgilenmektedir. Burada hüküm süren metafor bir papağan değil, Terminatör filmlerindeki soykırımcı bilgisayar sistemi Skynet’tir. Bu bakış açısı, Elon Musk da dahil olmak üzere, benzer düşünen düşünce kuruluşları, hibeler ve burslardan oluşan bir ağı finanse eden birkaç teknoloji milyarderinin ateşli desteğine sahiptir. Aynı zamanda, bu tür kıyamet tellallığının endüstri için yararlı olduğunu, çünkü dikkatleri ürünlerinin sorumlu olduğu gerçek, mevcut sorunlardan uzaklaştırdığını gözlemleyen birinci okul üyelerinin eleştirilerini de çekmiştir. Meredith Whittaker, “her şeyi uzak geleceğe yansıtırsanız”, “statükoya dokunmamış olursunuz” diyor.

Bilgisayarlarla ilgili fantezilerin güçlü çıkarlara hizmet edebileceği konusunda her zaman dikkatli olan Weizenbaum da muhtemelen aynı fikirde olacaktır. Ancak yine de onunkiyle örtüşen bir varoluşsal risk düşüncesi var: uzaylı olarak yapay zeka fikri. Filozof Nick Bostrom, “İnsan düşünce süreçleri hamamböceklerine ne kadar yabancıysa, süper zeki bir makine de insanlara o kadar yabancı olacaktır” derken, yazar Eliezer Yudkowsky gelişmiş yapay zekayı “bütün bir uzaylı uygarlığına” benzetiyor.

Weizenbaum şu uyarıyı da ekler: YZ, “süper zeki” olmasa bile zaten uzaylıdır. İnsanlar ve bilgisayarlar ayrı ve kıyaslanamaz alemlere aittir. Varoluşsal risk kalabalığının, Skynet olmasını önlemek için YZ’yi insan hedefleri ve değerleriyle “hizalamak” için bir dizi uygulama olan “YZ hizalama” yoluyla yapmayı umduğu gibi, aralarındaki mesafeyi daraltmanın bir yolu yoktur. Weizenbaum’a göre YZ’yi insanlaştıramayız çünkü YZ indirgenemez bir şekilde insan dışıdır. Ancak yapabileceğiniz şey, bilgisayarlara çok fazla şey yaptırmamaktır. Computer Power and Human Reason adlı kitabında Weizenbaum, “kişiler arası saygı, anlayış ve sevgi içeren bir insan işlevinin yerine asla bir bilgisayar sistemini koymamalıyız” diye yazmıştır. Bilgisayarlarla iyi yaşamak, onları doğru yerlerine koymak anlamına gelecektir: hesaplamaya yardımcı olarak, asla yargılamadan.

Weizenbaum bir gün bir bilgisayarda zekanın gelişebileceği ihtimalini asla göz ardı etmedi. Ancak 1991 yılında yazar Daniel Crevier’e söylediğine göre, eğer gelişirse, bu “en azından bir yunusun zekası ile bir insanınki kadar farklı olacaktır”. Burada ne ırkçı papağanlarla dolu bir yankı odası ne de Skynet’in Hollywood distopyası olan olası bir gelecek saklanıyor. Bu, yapay zeka ile başka bir türle kurduğumuz gibi bir ilişki kurduğumuz bir gelecek: garip bir şekilde, büyük mesafeler boyunca, ancak bazı ödüllendirici anlar için potansiyele sahip. Yunuslardan kötü yargıçlar ve berbat psikiyatristler olurdu. Ama ilginç arkadaşlar olabilirler.