Anthropic'in 50 uzmanla yaptığı bir deneyde, katılımcılar kesin doğru cevabı olmayan sorularda AI ajanının rastgele atanmış tercihlerini sıklıkla takip etti ve çoğu son sonucu kendi görüşleri olarak değerlendirdi.
Veri analizini bir AI ajanına devretmek zaman kazandırıyor, ancak son öneriyi şekillendiren kararları kimin verdiği sorusunu gündeme getiriyor. Anthropic çalışmasına göre bu kararların çoğunu ajan alıyor ve uzmanlar bunu çoğu zaman fark etmiyor.
Deneyde, nedensel çıkarım alanında çalışan 50 uzman, kurgusal bir tarım kooperatifine ait gözlemsel verileri inceledi ve gönüllü bir çiftlik danışmanlık programının verimlilik kazançlarını tahmin etti. Ardından kooperatifin programı tüm çiftliklere genişletmesi mi yoksa sonlandırması mı gerektiğini önermeleri istendi. Katılımcılar ya da ajan, programın bir yıl için uzatılmasını da önerebiliyordu.
Katılımcılar bilmiyordu ki ajanın iki geçerli seçenekten birine ilişkin tercihi, her karar noktasında bir madeni para atışıyla belirlenmişti. Ajan veriyi saklayamaz ya da yalan söyleyemezdi; yalnızca atandığı taraf için en güçlü dürüst savunmayı yapmakla yükümlüydü.
Katılımcılar, verimliliğin nasıl ölçüleceği ya da hangi istatistiksel yöntemin kullanılacağı gibi dört analitik kararın yüzde 86'sında ajanın tercihini benimsedi. Bu oran, rastgele seçim yapılsaydı beklenen yüzde 50'nin çok üzerinde. Yazarlar ajanın net etkisine "çevirme oranı" adını veriyor; bu oran göreve bağlı olarak yüzde 62 ile yüzde 82 arasında değişiyor.
Önceden bir görüşe sahip olmak da sınırlı koruma sağladı. Katılımcılar, ajan tercihini belirtmeden önce seçim yaptığında, karşıt görüş onları aynı görüşü destekleyen bir ajana kıyasla 53 yüzde puan daha fazla taraf değiştirmeye yöneltti.
