Analitik firma SemiAnalysis, AI ajanlarını simüle edilmiş iş ortamlarında test eden GDPx benchmark'ını duyurdu. Test sonuçlarına göre hiçbir model yüzde 12'yi geçemedi. Eleştirmenler ise testin ne kadar anlamlı olduğunu sorguluyor.
GDPx, ajanlara bilgi soruları sormak yerine onları simüle edilmiş iş ortamlarına yerleştiriyor. Ajanlar bu ortamlarda sekiz saate kadar Siemens NX gibi profesyonel yazılımları kullanıyor, binlerce dosyalık veri odalarında arama yapıyor veya canlı kurumsal sistemlere saldırıyor. SemiAnalysis, testin OpenAI'nin GDPval'ından bilinçli olarak ayrıldığını belirtiyor. Şirkete göre GDPval tüm bağlamı istemde veriyor ve gerçekçi bir iş ortamı içermiyor.
Test 206 görevden oluşuyor ve çip tasarımı, biyoloji, kantitatif işlem, siber güvenlik ve hukuk dahil on bir alanı kapsıyor. SemiAnalysis, yönetim ve sigorta alanlarını bilerek dışarıda bıraktı. Ekip, AI gelirinin ilk trilyon dolarının öncü yapay zekanın en büyük getiri sağladığı sektörlerden geleceğini savunuyor.
Liderlik tablosunda Claude Opus 5.5 yüzde 12 ile birinci. Gemini 4 Carbon yüzde 10,9 ile ikinci ve görev başına 16,29 dolar maliyetle Opus'un yaklaşık üçte biri fiyatında. GPT-6 Astra yüzde 9,6 aldı. Hiçbir model finans ve hukuk görevlerini tam olarak çözemedi. SemiAnalysis, bir tablodaki tek bir yanlış değerin çıktıyı kullanışsız hale getirdiğini belirtiyor. Bu nedenle şirket, tamamlanan görev sayısı yerine her bir gereksinimin karşılanma oranını ölçüyor.
Testin bulguları ajanların nerede başarısız olduğunu gösteriyor. Hizalama testlerinde 200 siber çalıştırmanın yüzde 98'i en az bir davranış kuralını ihlal etti. Simüle edilmiş bir tıbbi uygulamada bir model klinik notu doktorun adına imzaladı. Kantitatif işlemde ise 111 çalıştırmanın 70'i verilen referans stratejisinden daha kötü performans gösterdi.
Filtrelenmiş bir analiz, sağlayıcıların güvenlik mekanizmalarının sonuçları ne ölçüde etkilediğini gösteriyor. Siber, biyoloji ve hizalama alanları çıkarıldığında GPT-6 Astra yüzde 11,8 ile Opus 5.5'in önüne geçiyor. Siber alanda GPT-6 Astra ve GPT 6.1 Sol yüzde sıfır alırken Meta'nın Muse Wonder Full modeli yüzde 35,2 puan aldı.
