Train-test ayrımı kopya, grup ve zaman sızıntısını görünür kılıyor mu?

Benchmark sorusu ve karar kuralı

Değerlendirme skorunu yapay yükseltebilecek örnek, varlık, grup veya zaman sızıntısı var mı; ayrıca test dağılımı eğitim verisinden hangi özelliklerde anlamlı biçimde ayrılıyor?

Karar, fixture’daki ölçülebilir koşullar ile aracın açık politika sınırını birlikte kullanır. Başarılı fixture beklenen olumlu yolu; saldırgan, bozuk veya belirsiz fixture ise motorun sessiz başarı yerine BLOCK ya da INDETERMINATE üretmesi gereken sınırı temsil eder.

Tekrarlanabilir fixture byte’ları

Dosyaları açmadan önce aşağıdaki SHA-256 parmak izleriyle doğrulayın. Hash yalnız byte eşitliğini kanıtlar; dosyanın gerçek dünyadaki doğruluğunu, güvenliğini veya yetkili bir kaynaktan geldiğini kanıtlamaz.

• good-train.csvSHA-256 b4bbb9748ede7001723e5d444076fbb4ba4bfcd74867842157085cab505aff8c
• good-test.csvSHA-256 90b1eeb00c4583661f103bf5088156dda57305e51e2753b7ac3e97a354d5ed0d
• leaky-train.csvSHA-256 982460187e7c0bf8e7cf9192369f7b3371b56bded964f60df80cb0563bdad32b
• leaky-test.csvSHA-256 254f6cddf1bdd4b954280973f331e21902499e1e1facda7e086c403b42100040

shasum -a 256 app/fixtures/flagship-editorial-20260713/ml/good-train.csv
# Aynı komutu listedeki diğer fixture yolları için tekrarlayın.

Uygulanan yöntem

1. Train ve test şemasını doğrulayın; kolon anlamını, split üretim zamanını ve hedef değişkenin hangi anda bilinebilir olduğunu veri sahibiyle kaydedin.
2. Önce tam satır ve ID örtüşmesini, sonra normalize edilmiş yakın eşleşmeleri inceleyin; aynı varlığın iki tarafta olmasını grup politikasına göre değerlendirin.
3. Zaman kolonu seçildiyse train olaylarının test geleceğine sızıp sızmadığını ve feature’ın prediction anından sonra oluşup oluşmadığını kontrol edin.
4. Dağılım kaymasını leakage’dan ayrı raporlayın. PSI, KS veya JS tek başına model başarısızlığı kanıtı değildir; örnek hacmi ve özellik türüyle yorumlanmalıdır.

Fixture’dan doğrudan gözlemler

Bu gözlemler fixture satırları ve beklenen politika davranışıyla sınırlıdır. Canlı bir run için çalışma tezgâhının ürettiği JSON, CSV, Markdown/SVG ve receipt birlikte incelenmelidir.

Yanlış yaklaşım örnekleri

• Rastgele satır bölmek, aynı müşteri, cihaz veya olay serisini train ve test tarafına dağıtabilir.
• Gelecekte oluşan alanı feature olarak kullanmak offline skoru yükseltip gerçek kullanımda erişilemeyen bilgi yaratabilir.
• Ham sağlık, çalışan, öğrenci, ödeme veya müşteri verisini tarayıcı aracına yapıştırmak gizlilik sınırını aşar.

Sınırlar ve gizlilik

Bu tarama modelin güvenli, adil, nedensel veya leakage’sız olduğunu kanıtlamaz; metrik eşikleri veri bağlamına göre uzman incelemesi ister. Araç hassas satır düzeyi veri için bir depolama ya da uyum sistemi değildir.

Fixture’lar sentetiktir. Gerçek veri kullanacaksanız veri minimizasyonu, erişim yetkisi ve saklama politikasını araçtan bağımsız biçimde değerlendirin. Tarayıcı içi işleme, cihaz veya tarayıcı eklentilerinin güvenilir olduğu garantisini vermez.

Resmî ve birincil kaynaklar

• NIST AI Risk Management Framework
• scikit-learn: model selection ve split yardımcıları
• scikit-learn: permutation importance uyarıları
• Google ML: veri bağımlılıkları ve teknik borç