Blog
Mert Özen'in yazılım geliştirme, backend, frontend ve DevOps üzerine blog yazıları.
LLM ve RAG: Modelin Bilmediği Veriyle Cevap Vermek
gemma3:4b'ye kitapçının iade süresini sorunca kendinden emin bir şekilde 30 gün dedi; doğrusu 21. Politikaları chunk'lara bölüyor, nomic-embed-text ile indeksliyor, en yakın chunk'ları prompt'a koyuyor ve modele context'te olmayanı bilmediğini söyletiyoruz. C#'ta bellekte minimal bir RAG ve sınırları.
LLM'lerde Embedding ve Benzerlik: Metni Anlamına Göre Aramak
Embedding nedir, cosine similarity nasıl hesaplanır? nomic-embed-text ile 768 boyutlu vector'ler üretiyor, C# ve TypeScript'te elle cosine similarity yazıyor, bellekte küçük bir semantic search kurup keyword aramasıyla karşılaştırıyoruz. Olumsuz cümle tuzağı ve Türkçe sorgularla sınırlar gerçek puanlarla.
LLM Tool Calling (2): Microsoft.Extensions.AI ve Güvenli Tool'lar
Tool döngüsünü UseFunctionInvocation ve AIFunctionFactory'ye devrediyor, sonra asıl soruya geçiyoruz: modelin istediği her çağrı çalışmalı mı? Yetkiyi session'dan almak, veri değiştiren tool'lara onay, Zod ile argüman doğrulama ve modelin uydurduğu argümanlar gerçek qwen3:4b çıktılarıyla.
LLM Tool Calling (1): Model Fonksiyon Çağırmaz, Çağrı İster
Tool calling'de model hiçbir fonksiyonu çalıştırmaz; bir çağrı isteği üretir, çalıştırmak senin koduna kalır. Ollama'nın /api/chat endpoint'ine qwen3:4b ile ham tools isteği atıyor, sonucu tool rolüyle geri gönderiyor, döngüyü TypeScript'te ve paketsiz C#'ta kuruyoruz.
LLM ile Structured Output: JSON Mode, JSON Schema ve GetResponseAsync<T>
Serbest metni regex ile parse etmenin neden kırıldığını, JSON mode'un neden yetmediğini ve JSON schema'nın biçimi nasıl sabitlediğini görüyoruz. TypeScript'te Zod, C#'ta GetResponseAsync<T> kullanıyor, schema'ya uyan ama yanlış bir cevabı yakalıyor ve iki katmanlı doğrulama kuruyoruz.
LLM için Prompt Yazmak (2): Adım Adım Düşündürmek ve Reasoning Modelleri
Adım adım düşün demek doğru cevabı garanti eder mi? Tuzaklı bir sipariş hesabını gemma3:4b'ye üç biçimde soruyor, qwen3:4b'nin think parametresiyle düşünmeyi cevaptan ayırıyor, C#'ta ReasoningOptions kullanıyor ve düşünmenin token ile süre olarak bedelini ölçüyoruz.
LLM için Prompt Yazmak (1): Açık Talimat, Ayraçlar ve Few-shot
Prompt bir spesifikasyondur: context, görev, girdi, biçim ve kısıt. Kötü ve iyi prompt'u aynı yorum üzerinde token sayılarıyla karşılaştırıyor, ayraçlarla talimatı veriden ayırıyor, few-shot örneklerin bir sınıflandırıcıyı nasıl düzelttiğini ve nasıl yanılttığını gemma3:4b'nin gerçek çıktılarıyla görüyoruz.
LLM Cevabında Streaming: NDJSON, IAsyncEnumerable ve İlk Token Süresi
Streaming cevabı hızlandırmaz, beklemeyi kısaltır. Ollama'nın NDJSON ve OpenAI uyumlu SSE stream'lerine curl ile bakıyor, C#'ta GetStreamingResponseAsync ve TypeScript'te async iterator ile cevabı okuyup ilk token süresini ölçüyor, stream'i iki SDK'da iptal edip davranış farkını görüyoruz.
LLM'lerde Sampling: Temperature, Top-p, Top-k ve Seed
Aynı soruya neden farklı cevaplar geliyor? logprobs ile modelin aday token'larına bakıp temperature, top-k ve top-p'nin bu dağılımı nasıl değiştirdiğini hesaplıyor, seed'in tekrarlanabilirlik sözünü ve sınırlarını, num_predict ve stop sequence'leri gemma3:4b üzerinde gerçek çıktılarla görüyoruz.
LLM Mesaj Rolleri ve System Prompt: Bookstore Asistanına Kimlik Vermek
system, user ve assistant rolleri ne işe yarar ve Gemma 3'ün chat template'i onları modele nasıl taşır? Bookstore asistanına bir system prompt yazıyor, iyi bir system prompt'un parçalarını görüyor, istemcide uydurulan bir assistant mesajının modeli nasıl kandırdığını ve kullanıcı metnini talimattan ayırmanın prompt injection'a karşı ilk adım olarak ne kadar işe yaradığını gerçek çıktılarla deniyoruz.
LLM Context Window: Model Neyi Hatırlar, Neyi Sessizce Keser?
LLM API'leri stateless'tır; sohbet geçmişini her istekte sen gönderirsin ve her tur faturayı büyütür. Gemma 3 128K token desteklese de Ollama varsayılan olarak 4096'lık bir pencere ayırıyor ve 4498 token'lık bir prompt'u hiçbir hata vermeden 2051 token'a indiriyor. num_ctx'i C# ve TypeScript'te ayarlıyor, geçmişi kırpma ve özetlemeyle yönetmeyi gerçek çıktılarla deniyoruz.
LLM'lerde Token ve Tokenizer: Türkçe Neden Daha Çok Token Tutar?
Token nedir, BPE ve SentencePiece metni nasıl böler? Ollama'nın prompt_eval_count sayacıyla aynı cümlenin Türkçesini ve İngilizcesini gemma3:4b ve qwen3:4b tokenizer'larında ölçüyor; sayıların, GUID'lerin, JSON'un ve kodun kaç token tuttuğunu, chat template'in görünmeyen token'larını ve token'ın maliyet, limit ve hıza etkisini gerçek sayılarla görüyoruz.