Hugging Face'in blog yazısına göre Transformers, 30 Temmuz 2026'da T5 modeli için PyTorch'un ölçeklendirilmiş nokta çarpımı dikkat mekanizmasını (SDPA) etkinleştirdi. Bunun bir yan etkisi olarak UMT5'in kod çözücüsü gelecekteki tokenlara bakabiliyordu. Eğitim sırasında model, tahmin etmesi gereken cevabı görebiliyordu. Hiçbir şey çökmedi ve hata ana dalda neredeyse iki ay boyunca kaldı.
Commit'ler sonradan yeniden çalıştırıldığında, CPU üzerinde çalışan küçük bir UMT5 modeli hatayı her birinde işaretledi. Transformers 750'den fazla model türünü destekliyor. Test paketi ana dalda 88.000'den fazla CPU testi, günlük çalıştırmada ise 200.000'den fazla GPU testi içeriyor. Bu testler pipeline, eğitim, dağıtık çalıştırma, nicemleme ve dikkat çekirdeklerini de kapsıyor.
Gerçek kontrol noktalarını yükleyen entegrasyon testlerini her PR'da çalıştırmak, GPU'ları bütün gün meşgul tutmak anlamına gelirdi. Zamanlanmış bir çalıştırma bir gerilemeyi bulduğunda ise değişiklik zaten ana dala girmiş olabiliyor.
Bu nedenle ekip modeli küçültme yolunu seçti. Gerçek kontrol noktasının yapılandırmasından, daha az ve daha dar katmanlı ama sahip olduğu her katman türünü içeren küçük bir test modeli (fixture) hazırlanıyor. Tokenizer ve işlemci dosyaları değiştirilmeden kalıyor. Model bir kez yayımlanıp tekrar kullanılıyor ve "hızlı entegrasyon testleri" ucuz bir CPU çalıştırıcısında bu model üzerinde yapılıyor. Deneysel UMT5 fixture'ı 66 MB ağırlık kullanırken, kaynak kontrol noktası 1.227 MB.
Bu yaklaşım, standart GPU çalıştırıcılarına sığmayan çok büyük modeller için de kullanılıyor. Bu modellerin fixture'ları CPU üzerinde çalışabiliyor.
