Aysu Serindağ
Sıradan İnsan Grupları Facebook’ta Sahte Haberleri Denetlemek Açısından Profesyonel Doğruluk Denetleyiciler Kadar İyiler
Laura Hazard Owen
niemanlab.org
3 dk
Çeviren: Aysu Serindağ
Facebook’un doğruluk denetleyici programı platformdaki yalan ve yanlış yönlendirici haberleri ayıklamak için üçüncü parti doğruluk kontrolüne ve haber organizasyonlarına güveniyor. Bu programın ilerlemesini engelliyor, çünkü bu işi yapan sınırlı sayıda organizasyon var.
Peki ya Facebook gündelik işi doğruluk kontrolü yapmak olmayan sıradan insanları doğruluk denetleyicileri olarak kullanabilseydi? MIT’de üzerine çalışılan yeni bir araştırmaya göre bu yöntem şaşırtıcı derecede etkili olurdu, bu insanlar sadece haber başlıklarını okuyor olsalar bile. Araştırmanın yazarlarına göre, “Kitle kaynak kullanımı” yanlış bilgilendirmeleri belirlemek için gelecek vadeden bir yaklaşım.
Takım, Facebook’un iç algoritmasıyla doğruluk kontrolü için işaretlenmiş 207 tane makaleyi kullandı. (Araştırma Facebook Topluluk İncelemesi takımı ve Hewlett Vakfı finansmanıyla gerçekleştirildi.) İki gruptan bu makalelerin doğruluklarını kontrol etmeleri istendi: karara varmak için tüm makaleleri inceleyen 3 profesyonel doğruluk denetleyicisi ve makalelerin doğruluğuna başlıklar ve giriş cümleleri üzerinden karar verenAmazon’un Mechanical Turk hizmetinden bulduğu 1128 Amerikalı. Sonuç: Bulduğumuza göre, 10 kişilik mesleğin dışında olan politik olarak dengeli bir grubun doğruluk kontrolü ortalaması, doğruluk denetleyicilerinkiyle bağlantılı. Daha da ötesinde, özellikle üç doğruluk denetleyicisinin de onayladığı başlıklar içinde; mesleğin dışında olan kişiler, denetleyicilerin bir başlığı yüksek doğrulukla “gerçek” olarak işaretleyip işaretlemediğini tahmin edebiliyorlar.
Ayrıca mesleğin dışında olan kişinin bilişsel yansımasının, politik bilgilerinin ve Demokratik Parti seçiminin doğruluk denetleme oranlarıyla pozitif bir bağlantıda olduğunu görüyoruz; ve her manşetin yayıncısı hakkında sıradan kişileri bilgilendirmek, doğrulayıcılarla yapılan anlaşmada küçük bir artışa yol açıyor. Bu kısmen önemli çünkü Facebook’un resmi doğruluk denetleyicisi ortakları gerçekten çok da içerik gözden geçirmiyorlar: Ocak ayında, The Hill Facebook’un 6 tane ortağının 26 tane tam zamanlı çalışanı olduğunu ve ayda yaklaşık 200 tane içerik denetlediklerini raporladı. Araştırmacılara göre; bu yalnızca kovada bir damla sayılmakla kalmayıp, aynı zamanda ima edilen gerçek etkisiyle yanlış haberlerin paylaşılmasında ve onlara olan inancın artmasına da sebep oluyor. İnsanlar, bu uyarı eksikliğinin iddianın gerçekliğini ima ettiğini düşünebilirler. Dahası, doğruluk denetleme uyarıları bile yanlış bilgilendirmeye açıklar, güven eksikliğinden ötürü etkileri azalabilir. (2019’da, Pew Cuhmuriyetçilerin %70’inin ve Amerikalıların genelinin %48’inin doğruluk denetleyicilerinin taraflı olduklarını düşündüklerini buldu.) Bu çok önemli ve Facebook bunun bir sürü versiyonuyla karşılaştı ( @brooklynmarie ve diğerleri). Profesyonel denetleyiciler FB’daki tam hacimli boklardan bunalıyorlar. https://t.co/a85ov6E4jw
Charles Arthur (@charlesarthur) Ekim 9, 2020
Bu çalışmada, profesyonel denetleyiciler genelde -fakat her zaman değil- birbirlerine katıldılar. Yazarların dediğine göre, denetleyicilerin en azından 2/3’ü kategorik değerlendirmeler için makalelerin %90’ında birbirlerine katıldı. Yine de, denetlemeler arasındaki bu seviyedeki çeşitliliğin doğruluk denetleyici programlar adına önemli yaptırımları var, doğruluğu kanıtlamak adına tek bir denetleyiciden geçen değerlendirmelere güvenmemenin önemini öne çıkarmak gibi. Doğrunun altını çizmek genelde basit bir siyah beyaz kategorileştirme sorusu gibi olmuyor.
Sonrasında, 3 profesyonel doğruluk denetleyicisinin her makaleyi araştırmasını ve gerçekliğini değerlendirmesini sağladık.
İlk sürpriz: Beklediğinizden daha fazla anlaşamamazlık oldu!
Denetleyicilerin değerlendirmeleri arasında ortalama korelasyon .62
Makalelerin yarısında 1 denetleyici diğer ikisine katılmadı, diğer yarısında ise 3’ü de hemfikirdi. pic.twitter.com/QPtKCrE7fO
David G. Rand (@DG_Rand) Ekim 8, 2020
Bunu akılda tutarak, MTurk’lere döndüler.
Politik açıdan dengeli gruplar kurduk ve ortalama değerlendirmelerini denetleyicilerin değerlendirmeleriyle ilişkilendirdik.
Grup çok başarılı oldu:
10 tane sıradan insanla bile, grup ortalama doğruluk denetlemesi değerlendirmesi, denetleyicilerin kendi aralarındaki değerlendirmeleri kadar bağlantılı!
Yazarlara göre; çok az sayıda sıradan insan, bir makalenin sadece başı verildiğinde bile profesyonel doğruluk denetleyicilerinin bireysel kararlarına yaklaşan toplu bir karar oluşturabiliyor. Bu profesyonellere artık gerek kalmadığı anlamına gelmiyor: biz kitle kaynak kullanımını makine öğrenimini, sıradan insan değerlendirmelerini ve uzman kararlarını bir araya getiren yanlış bilgi tespit sisteminin bir bileşeni olarak görüyoruz.
Erkan Saka
Sinem Saka
