Model skoruna güvenmeden önce split bütünlüğünü kanıtlayın

1. İşi ve kanıt sınırını tanımlayın

Değerlendirme skorunu yapay yükseltebilecek örnek, varlık, grup veya zaman sızıntısı var mı; ayrıca test dağılımı eğitim verisinden hangi özelliklerde anlamlı biçimde ayrılıyor?

Başlamadan önce karar sahibini, kabul eşiğini, başarısızlıkta yapılacak işlemi ve saklanacak artifact’leri yazın. Böylece araç sonucu sonradan amaca göre yorumlanmaz.

2. Hazırlık ve doğrulama yöntemi

1. Train ve test şemasını doğrulayın; kolon anlamını, split üretim zamanını ve hedef değişkenin hangi anda bilinebilir olduğunu veri sahibiyle kaydedin.
2. Önce tam satır ve ID örtüşmesini, sonra normalize edilmiş yakın eşleşmeleri inceleyin; aynı varlığın iki tarafta olmasını grup politikasına göre değerlendirin.
3. Zaman kolonu seçildiyse train olaylarının test geleceğine sızıp sızmadığını ve feature’ın prediction anından sonra oluşup oluşmadığını kontrol edin.
4. Dağılım kaymasını leakage’dan ayrı raporlayın. PSI, KS veya JS tek başına model başarısızlığı kanıtı değildir; örnek hacmi ve özellik türüyle yorumlanmalıdır.

Bozuk, eksik veya kapsamı karşılaştırılamayan girdide güvenilir karar üretilemiyorsa süreç fail-closed kalmalıdır. INDETERMINATE, eksik kanıtı PASS gibi göstermemek için gerçek bir sonuç sınıfıdır.

3. Cerrahi rollout sırası

1. Prediction anını, birincil varlık/grup kimliğini, zaman sınırını ve izin verilen tekrar politikasını yazılı hale getirin.
2. Kişisel ve gizli kolonları kaldırılmış sentetik örnekle önce kontrolün beklenen bulguları yakaladığını doğrulayın.
3. Gerçek split için yalnız onaylı ve de-identified kolonları kullanın; girdi hash’i ile hangi snapshot’ın incelendiğini sabitleyin.
4. Quarantine satırlarını veri sahibiyle inceleyin; leakage, proxy ve drift iyileştirmelerini ayrı değişiklikler olarak uygulayın.
5. Split’i yeniden üretin, modeli yeniden değerlendirin ve önceki receipt’i parent hash olarak yeni kanıt zincirine bağlayın.

4. Kaçınılacak kısa yollar

5. Güvenli işlenmiş örneği yeniden üretin

Önce sentetik fixture byte’larını doğrulayın, sonra Türkçe çalışma tezgâhında yükleyin. Üretilen artifact’lerin hash’lerini receipt ile karşılaştırın; sayfadaki açıklamayı yeni bir run sonucu sanmayın.

• good-train.csvSHA-256 b4bbb9748ede7001723e5d444076fbb4ba4bfcd74867842157085cab505aff8c
• good-test.csvSHA-256 90b1eeb00c4583661f103bf5088156dda57305e51e2753b7ac3e97a354d5ed0d
• leaky-train.csvSHA-256 982460187e7c0bf8e7cf9192369f7b3371b56bded964f60df80cb0563bdad32b
• leaky-test.csvSHA-256 254f6cddf1bdd4b954280973f331e21902499e1e1facda7e086c403b42100040

Fixture beklenen davranışı göstermiyorsa gerçek veriye geçmeyin. Sorunu, tarayıcı sürümünü, dosya hash’ini ve gözlenen sonuç sınıfını düzeltme kanalına ekleyin.

6. Kabul, durdurma ve kayıt kararı

PASS yalnız seçili politika içinde kabul anlamına gelir. BLOCK, tanımlı eşik aşıldığı için ilerlemenin durmasıdır. INDETERMINATE ise girdinin veya motor kanıtının güvenilir karar için yetersiz olduğunu söyler. Her üç sonuçta da exact input hash, artifact hash’leri, araç sürümü, varsayımlar ve sınırlar korunmalıdır.

Yöntem sınırı ve gizlilik

Bu tarama modelin güvenli, adil, nedensel veya leakage’sız olduğunu kanıtlamaz; metrik eşikleri veri bağlamına göre uzman incelemesi ister. Araç hassas satır düzeyi veri için bir depolama ya da uyum sistemi değildir.

Ham kullanıcı girdisi analitiğe gönderilmemelidir. Dosya adı, sorgu metni, kişisel veri veya içerik byte’ları yerine yalnız allowlist tool slug, result sınıfı, artifact sayısı ve sample işareti gibi operasyonel alanlar kullanılmalıdır.

Kaynaklar

• NIST AI Risk Management Framework
• scikit-learn: model selection ve split yardımcıları
• scikit-learn: permutation importance uyarıları
• Google ML: veri bağımlılıkları ve teknik borç