Blog
Mert Özen'in yazılım geliştirme, backend, frontend ve DevOps üzerine blog yazıları.
Prompt'u Ölçerek İyileştirmek: Test Seti, Kural Tabanlı Kontroller, LLM-as-Judge, Microsoft.Extensions.AI.Evaluation ve promptfoo ile CI'da Regresyon
Prompt'u ölçmek için referans cevaplı ve insan etiketli bir altın set, her pull request'te koşan kural kontrolleri ve insanla uyuşması ölçülmüş bir LLM-as-judge birlikte gerekir. Bookstore'un iade politikası sorularında kısa cevap kuralı küçük modelde doğruluğu 8/10'dan 5/10'a düşürdü; kurallar ve iki judge insanla 30 cevabın en fazla 23'ünde uyuştu, pairwise judge on çiftin altısında sıraya bağlı kaldı ya da karar vermedi.
Prompt'ları Kodda Yönetmek: Template'ler, Dosyada Prompt, Versiyonlama, Model Snapshot'ı Sabitlemek ve Prompt Değişikliğini Review Etmek
Prompt'u model, digest, temperature ve seed ile birlikte bir dosyada versiyonla, assembly'ye göm, yayınlanmış versiyonu bir lock testiyle dondur ve değişikliği diff ile eval sonucu üzerinden review et. Bookstore'un prompt'larını dosyaya taşırken render'ın birebir aynı kaldığını model çağırmadan kanıtladık; escaping dört injection mesajının hiçbirini durdurmadı, yeni v4 ana seti 12/12 korurken injection setinde 0/4'ten 2/4'e çıktı.
Agent ve Tool Kullanan Sistemler İçin System Prompt: Rol, Sınırlar, Tool Kullanım Kuralları, Onay ve Durma Koşulu
Agent system prompt'u amaç, yetki sınırı, tool kuralları, onay, soru sorma ve durma koşulunu yazar; yetkinin kendisi ise tool'un arkasındaki kodda durur. Bookstore'un sipariş asistanında tek cümlelik prompt iki siparişi onaysız iptal etti, bölümlü prompt on bir senaryonun hepsini geçti; iptal onayını ApprovalRequiredAIFunction ile koda taşıyınca en zayıf prompt'la bile hiçbir sipariş onaysız iptal edilmedi.
Kod İçin Prompt'lar: Kod Üretimi, Test Üretimi, Code Review ve SQL Üretimi — Doğrulanabilir Çıktı İstemek
Kod üreten bir prompt'tan görüş değil, kontrol edilebilir çıktı iste: SQL'i SQL Server'ın parser'ı ve şema kontrolüyle, test case'lerini gerçek koda karşı çalıştırarak, review bulgusunu diff'teki satırla doğrula. Bookstore'un raporlama ekranında şemasız prompt 12 sorguda 0 doğru verdi ve bir DELETE yazdı; şema, kurallar ve önce karar isteyen çıktıyla 5/12'ye çıktı, validator hiçbir yazma işlemini geçirmedi ve off-by-one'ı review değil üretilen testler yakaladı.
Uzun Doküman ve Context ile Çalışmak: Yerleşim, Alıntı İstemek, Bölmek ve Prompt Caching'e Uygun Sıralama
Uzun dokümanda önce token'ı say, dokümanı başa ve soruyu sona koy, cevabı kodla doğrulanan birebir alıntılara dayandır ve sabit kısmı önde tutarak prompt caching'den yararlan. 33 bin token'lık tedarikçi sözleşmesinde Ollama prompt'u sessizce yarıya kırptı, küçük model tam metinden doğru alıntı yapamadı, map-reduce doğrulanmış alıntılarla 4/6'ya çıktı ve doküman başta olunca ikinci sorunun prompt işlemesi 35,9 saniyeden 0,2 saniyeye indi.
Özetleme, Yeniden Yazma ve Çeviri: Uzunluk Kontrolü, Ton, Terim Sözlüğü ve TR/EN Lokalizasyon
Metin üreten görevlerde uzunluk, zorunlu bilgi, yeni sayı, placeholder, HTML tag ve terim sözlüğü kodla kontrol edilir; model karakter sayamaz, fiyat ve tarih biçimi CultureInfo işidir. Bookstore kampanyalarında v1 beşte sıfır geçti, açık kurallar ve kodun ölçtüğü bir düzeltme döngüsüyle 3/5'e çıktı; kitap açıklaması çevirisinde ayrıntılı kurallar 0/6 kalırken kısa talimat ve tek örnek 4/6 verdi.
Classification ve Routing Prompt'ları: Etiket Seti, Etiket Açıklamaları, Few-shot Seçimi, Belirsiz Vakalar ve Güven
Classification prompt'unun doğruluğunu en çok karşılıklı dışlayan etiket tanımları, şemada enum ve bir "insana aktar" etiketi belirler; modelin kendi güven beyanı yanlışları ayırmaz. Gül'ün 24 ticket'lık setinde tanımlar skoru 14/24'ten 22/24'e çıkardı, few-shot bir şey eklemedi, qwen3:4b etiket sırası ters çevrilince üç ticket'ı değiştirdi ve iki küçük modelin uyuşması yanlışların ikisini de insana gönderdi.
Extraction Prompt'ları: Serbest Metinden Yapılandırılmış Veri, Eksik Alan, Belirsizlik ve "Bilmiyorum"
Extraction prompt'unda bilinmeyebilecek her alan nullable olmalı, değerin kaynağı alıntıyla kanıtlanmalı ve tarih gibi hesaplar koda bırakılmalı; JSON schema yalnız şekli garanti eder. Nevin Hanım'ın sipariş e-postalarında zorunlu alanlı v1 sekizde bir doğru çıktı ve "Ekte" gibi ISBN'ler uydurdu; nullable şema, kaynak alıntısı, tek örnek, Türkçe tarih resolver'ı ve validator ile kalemleri 12/12, tarihleri 8/8'e çıkarıyoruz.
Prompt Engineering Uygulamada: Prompt'u Spesifikasyon, Kod ve Test Edilen Bir Parça Olarak Ele Almak
Bir prompt'un çalıştığını söylemenin tek dürüst yolu onu gerçek girdilere benzeyen bir test setiyle ölçmektir. Bookstore'un iade tespiti prompt'u tek mesajda 1/1 geçerken on iki mesajlık sette 8/12 kaldı; görev tanımı, null kuralı, JSON schema, kodda doğrulama ve sınır örnekleriyle döngüyü adım adım işletiyor ve seri boyunca kullanacağımız EvalRunner'ı kuruyoruz.