Doğrulama yerine tahmin: Yapay zekâ, sosyal bilim deneylerinin sonuçlarını insan düzeyinde öngörebiliyor

Nesnel bilimsel testleri tasarlama ve sonuçları değerlendirme sürecinde uzun süredir “kara kutu” sayılan bazı belirsizlikleri azaltmaya yönelik yeni bir çalışma, büyük dil modellerinin sosyal bilim deneylerinin çıktısını önceden tahmin edebildiğini ortaya koydu. Nature’da yayımlanan araştırmaya göre, GPT-4 benzeri bir model kullanılarak yapılan simülasyonlar, sosyal bilim anket deneylerinden elde edilen etki büyüklüklerini öngörmede havuzlanmış insan uzmanlarının performansına yakın bir doğruluk sergiledi.

Çalışma, sosyal bilimlerde tekrarlanabilirlik ve şeffaflık tartışmalarının merkezinde yer alan ön kayıtlı (preregistrated) deneylerin geniş bir arşivini temel aldı. Analizde 70’si önceden kaydedilmiş, ulusal düzeyde temsili anket deneyinden elde edilen veriler kullanıldı; bu deneyler toplamda 469 farklı tedavi etkisini ve bunlara verilen yanıtları kapsıyordu. Yaklaşık 120 bin ABD’li katılımcının yer aldığı veri setinde, araştırmacılar modelin eğitim verisi kesim tarihinden sonra yayımlanmış olabilecek deneyler için bile gerçek dünyadaki sonuçlarla güçlü biçimde ilişkili tedavi etkileri tahmin edebildiğini rapor etti.

Araştırmanın yaklaşımı, dil modelinin yalnızca metinleri analiz eden bir araç olarak değil, temsili bir örneklemdeki bireylerin deneysel uyaranlara nasıl yanıt verebileceğine dair bir simülasyon motoru gibi kullanılması fikrine dayanıyor. Ekip, GPT-4’e deney koşullarında yer alan bireylerin temsili bir örneklem üzerinden vereceği olası yanıtların “tahmini”ni yaptırarak, bu yanıtlar üzerinden deneysel tedavinin etkisini çıkarsamaya çalıştı. Böylece model, doğrudan yeni bir deneyin kendisini gerçekleştirmeden, deney tasarımının olası sonuçlarını hesaplamaya yöneldi.

Bu noktada dikkat çeken husus, tahminlerin yalnızca nitel benzerlik taşımaması. Araştırma çerçevesinde, modelden elde edilen tahmin edilen etki büyüklükleri ile gerçek deney sonuçları arasında yüksek korelasyon bulunduğu belirtiliyor. Korelasyonun güçlü olması, modelin deney tasarımlarındaki bazı düzenlilikleri yakalayabildiğine işaret ediyor; bununla birlikte araştırmacılar, tahminlerin “her zaman” doğru olacağı ya da tüm bağlamlarda hatasız çalışacağı gibi bir kesinlik iddiası yerine, ölçülebilir bir tahmin başarısından söz ediyor.

Çalışmanın geniş veri seti ve ön kayıtlı deneyleri seçmesi, sosyal bilimlerde sık görülen seçim yanlılığı ya da raporlama tercihleri gibi sorunları azaltma açısından önemli bir metodolojik avantaj sağlıyor. Ön kayıt, araştırmacıların deneyin ana hedeflerini ve analiz planını sonuçlar görülmeden önce belirlemesini gerektirerek, daha sonra “uygun” görünen bulgulara odaklanma riskini düşürmeyi amaçlar. Bu nedenle, dil modelinin tahmin performansını değerlendirmek için kullanılan çerçevenin daha sistematik olduğu vurgulanıyor.

Öte yandan sonuçlar, sosyal bilimlerde yapay zekâ kullanımının yalnızca veri yorumlama düzeyinde kalmayıp, deneysel bulguların beklenen yönünü önceden tahmin etme aşamasına kadar uzanabileceğini gösteriyor. Böyle bir kapasite, araştırmacıların deneyleri tasarlarken hangi hipotezlerin daha olası sonuçlar üreteceğini hızlı biçimde tartmalarına yardımcı olabilir. Ancak bilimsel yöntemin bir parçası olan test ve doğrulamanın yerini almak yerine, bu tür modellerin “ek bir öngörü aracı” olarak konumlanması muhtemel görünüyor; çünkü eğitim verisindeki dil ve örüntüler, deneyin bağlamsal nüanslarını tam olarak kapsayamayabilir.

Araştırma ayrıca büyük dil modellerinin farklı alanlarda öngörü hatası üretebileceğine dair bilinen risklerle birlikte okunuyor. Etki büyüklüklerini olduğundan farklı tahmin etme, yanlı temsillerin modele yansıması ve bazı koşullarda performansın düşmesi gibi sorunlar, tahmin tabanlı yaklaşımlarda her zaman gündemde. Buna karşın bu çalışma, en azından belirli bir deney tasarımı ve veri koşulları altında, bir dil modelinin sosyal bilim deneylerinin sonuçlarını insan uzman tahminlerine yakın düzeyde öngörebildiğini deneysel bir örnekle gösteriyor.

Nihayetinde, Nature’daki bu megastud- tarzı çalışma, yapay zekânın bilimsel sürecin farklı katmanlarına nüfuz ettiği bir döneme işaret ediyor. Sosyal bilimlerde deneysel verinin üretimi ve değerlendirilmesi geleneksel yöntemlerle sürerken, büyük dil modellerinin “ön-öngörü” kapasitesi, gelecekte hipotez testinin nasıl planlanacağına ve replikasyon (yeniden üretim) çabalarının nasıl şekilleneceğine dair yeni tartışmalar doğurabilir.