Blog
Mert Özen'in yazılım geliştirme, backend, frontend ve DevOps üzerine blog yazıları.
Classification ve Routing Prompt'ları: Etiket Seti, Etiket Açıklamaları, Few-shot Seçimi, Belirsiz Vakalar ve Güven
Classification prompt'unun doğruluğunu en çok karşılıklı dışlayan etiket tanımları, şemada enum ve bir "insana aktar" etiketi belirler; modelin kendi güven beyanı yanlışları ayırmaz. Gül'ün 24 ticket'lık setinde tanımlar skoru 14/24'ten 22/24'e çıkardı, few-shot bir şey eklemedi, qwen3:4b etiket sırası ters çevrilince üç ticket'ı değiştirdi ve iki küçük modelin uyuşması yanlışların ikisini de insana gönderdi.
Classification ve Metric'leri: Confusion Matrix, Precision, Recall, F1 ve ROC-AUC
Dengesiz veride accuracy yanıltır; classification modelini precision, recall, PR-AUC ve iş maliyetine göre seçilmiş bir threshold ile ölçmek gerekir. Bookstore'da sipariş iptal riskini logistic regression ve FastTree ile tahmin ediyor, yüzde 95,8 accuracy'nin hiçbir iptali yakalamadığını, threshold'un validation setinde maliyete göre nasıl seçildiğini, calibration kontrolünü ve yorum metninden konu tahmin eden bir multiclass modeli gerçek çıktılarla gösteriyoruz.