Üçüncü taraf AI sağlayıcısının değerlendirilmesi

Bağlam

Perakende zinciri · 2.525 kayıt, 5 mecra

Problem

Dış sağlayıcının spam analizi “iyi mi kötü mü” sorusuna sayısal cevap gerekiyordu.

Yaklaşım

Altı boyutlu, ağırlıklı bir puanlama çerçevesi kurdum (teknik gürültü, marka-dışı içerik, adaş gürültü, tekrar, kesinlik, karar tutarlılığı) ve sağlayıcı çıktısını kendi standardımızla kayıt kayıt karşılaştırdım.

Etki

63/100 puan; en ağır bulgu olarak aynı sınıftaki boş-metinli yorumların günden güne rastgele bölündüğü (deterministik olmayan karar) tespit edildi. Sağlayıcıya giden geri bildirim somut, mecra bazlı ve tekrarlanabilir oldu.