Blog
Mert Özen'in yazılım geliştirme, backend, frontend ve DevOps üzerine blog yazıları.
LLM Context Window: Model Neyi Hatırlar, Neyi Sessizce Keser?
LLM API'leri stateless'tır; sohbet geçmişini her istekte sen gönderirsin ve her tur faturayı büyütür. Gemma 3 128K token desteklese de Ollama varsayılan olarak 4096'lık bir pencere ayırıyor ve 4498 token'lık bir prompt'u hiçbir hata vermeden 2051 token'a indiriyor. num_ctx'i C# ve TypeScript'te ayarlıyor, geçmişi kırpma ve özetlemeyle yönetmeyi gerçek çıktılarla deniyoruz.
LLM'lerde Token ve Tokenizer: Türkçe Neden Daha Çok Token Tutar?
Token nedir, BPE ve SentencePiece metni nasıl böler? Ollama'nın prompt_eval_count sayacıyla aynı cümlenin Türkçesini ve İngilizcesini gemma3:4b ve qwen3:4b tokenizer'larında ölçüyor; sayıların, GUID'lerin, JSON'un ve kodun kaç token tuttuğunu, chat template'in görünmeyen token'larını ve token'ın maliyet, limit ve hıza etkisini gerçek sayılarla görüyoruz.
LLM'e İlk İstek: Ollama, C# ve TypeScript ile İlk Cevap
Ollama'yı tanıyor, ollama list ve ollama ps ile modellere bakıyor, /api/chat endpoint'ine curl ile ilk isteği atıyoruz. Aynı isteği C#'ta Microsoft.Extensions.AI ve OllamaSharp ile, TypeScript'te ollama paketiyle tekrarlıyor; cevabın içindeki token sayılarını, nanosaniye cinsinden süreleri ve ilk isteğin neden yavaş olduğunu gerçek çıktılarla okuyoruz.
LLM Nedir? Geliştirici Gözüyle Büyük Dil Modelleri
Büyük dil modeli bir sonraki token'ı tahmin eden bir fonksiyondur. Bu döngüyü yerel gemma3:4b ile token token kuruyor; eğitim ile inference, base ile instruct model, open-weight ile kapalı model ve yerel ile bulut arasındaki farkları görüyor, modelin tarih, hesap ve sipariş sorularında nerede yanıldığını gerçek çıktılarla inceliyoruz.