ML Veri Seti Leakage ve Drift Laboratuvarı

Bu araç hangi işi tamamlar?

Değerlendirme skorunu yapay yükseltebilecek örnek, varlık, grup veya zaman sızıntısı var mı; ayrıca test dağılımı eğitim verisinden hangi özelliklerde anlamlı biçimde ayrılıyor?

İşlenmiş örnek değil, gerçek çalışma tezgâhı: Aşağıdaki kontroller tarayıcıda çalışan motora bağlıdır. Başlangıçta sonuç gösterilmez; fixture yükleyip çalıştırdığınızda yeni artifact ve receipt üretilir.

Yöntem ve doğrulama

1. Train ve test şemasını doğrulayın; kolon anlamını, split üretim zamanını ve hedef değişkenin hangi anda bilinebilir olduğunu veri sahibiyle kaydedin.
2. Önce tam satır ve ID örtüşmesini, sonra normalize edilmiş yakın eşleşmeleri inceleyin; aynı varlığın iki tarafta olmasını grup politikasına göre değerlendirin.
3. Zaman kolonu seçildiyse train olaylarının test geleceğine sızıp sızmadığını ve feature’ın prediction anından sonra oluşup oluşmadığını kontrol edin.
4. Dağılım kaymasını leakage’dan ayrı raporlayın. PSI, KS veya JS tek başına model başarısızlığı kanıtı değildir; örnek hacmi ve özellik türüyle yorumlanmalıdır.

Kararı yalnız ekrandaki etikete göre değil, indirilen artifact byte’ları ve receipt içindeki SHA-256 değerleriyle doğrulayın. Aynı girdiyi bağımsız bir ortamda yeniden çalıştırmak, uygulamanın iddiasına kör güvenmekten daha güçlü kanıttır.

Tekrarlanabilir fixture’lar

Bu kontrollü dosyalar, motorun beklenen başarı ve engel davranışlarını gözlemlemek içindir. Gerçek bir sistem veya kurum sonucu gibi yorumlanamaz.

• good-train.csvSHA-256 b4bbb9748ede7001723e5d444076fbb4ba4bfcd74867842157085cab505aff8c
• good-test.csvSHA-256 90b1eeb00c4583661f103bf5088156dda57305e51e2753b7ac3e97a354d5ed0d
• leaky-train.csvSHA-256 982460187e7c0bf8e7cf9192369f7b3371b56bded964f60df80cb0563bdad32b
• leaky-test.csvSHA-256 254f6cddf1bdd4b954280973f331e21902499e1e1facda7e086c403b42100040

Kaynaklar, düzeltme ve sorumluluk

• NIST AI Risk Management Framework
• scikit-learn: model selection ve split yardımcıları
• scikit-learn: permutation importance uyarıları
• Google ML: veri bağımlılıkları ve teknik borç

FastTool bu sayfanın yayıncısıdır. Yanlış yöntem, bozuk fixture, hash uyuşmazlığı veya yanıltıcı ifade görürseniz [email protected] adresine sayfa URL’si, sorunlu ifade ve dayanakla bildirin. Bir QA etiketi bağımsız insan sertifikası değildir.