2023'ten Bugüne LLM'ler: Open-Weight Modeller, Uzun Bağlam ve Reasoning

Sürüm notu: Bu yazı LLM'lerin 2023'ten bu yazının yazıldığı Kasım 2026'ya kadar olan dönemini anlatır. Tarihler arXiv kayıtlarından ve şirketlerin kendi duyurularından doğrulanmıştır; güncel model sıralaması ve fiyat bilgisi bilerek yer almaz.

Önce Tahmin Et

2020'de GPT-3'ün context window'u 2.048 token'dı. Bu seride dizüstü bilgisayarda çalıştırdığımız 4 milyar parametrelik gemma3:4b kaç token'lık bir pencereyi destekliyor? İki katı mı, on katı mı, daha fazlası mı? Bir de şu: bu modeli herkes indirip kullanabiliyorsa, ona "açık kaynak" demek doğru mu?

İlk sorunun cevabını ollama show gemma3:4b çıktısındaki context length satırında görmüştük: 131072, yani 128K, GPT-3'ün altmış dört katı. İkinci sorunun cevabı "her zaman değil" ve bu yazının önemli bir kısmı o ayrımla ilgili.

2023'ün Başı: GPT-4

OpenAI 14 Mart 2023'te GPT-4'ü duyurdu. Model iki pencere boyutuyla geldi: 8.192 token ve sınırlı erişimle 32.768 token. Ertesi gün arXiv'e yüklenen "GPT-4 Technical Report" ise bir alışkanlığın değiştiğini gösterdi: rapor, rekabet ve güvenlik gerekçesiyle mimari, model boyutu ve eğitim verisi hakkında ayrıntı vermiyordu. GPT-2 döneminde başlayan "ağırlıkları kime açmalı" tartışması, bu noktada kapalı modeller tarafında net bir cevaba dönüştü.

Open-Weight Modellerin Yükselişi

Aynı yıl ters yönde de güçlü bir akım başladı. Meta'nın LLaMA makalesi 27 Şubat 2023'te arXiv'e yüklendi ("LLaMA: Open and Efficient Foundation Language Models", Hugo Touvron ve arkadaşları). Aynı dönemde büyük dil modellerini kişisel bilgisayarda çalıştırmaya yönelik araçlar da hızla gelişti. 16. yazıda konuştuğumuz Q4_K_M gibi "k-quants" formatları llama.cpp'ye 5 Haziran 2023'te eklendi. Ollama'nın ilk sürümü v0.0.1 ise 8 Temmuz 2023'te yayımlandı.

18 Temmuz 2023'te Meta, Microsoft ile birlikte Llama 2'yi duyurdu ve bu kez model araştırma ve ticari kullanım için ücretsizdi. 27 Eylül 2023'te Mistral AI, Mistral 7B'yi Apache 2.0 lisansıyla yayımladı; ticari kullanıma izin veren bu yaygın açık kaynak lisansını ileride Qwen3 ve Gemma 4'te de göreceğiz. 18 Nisan 2024'te Llama 3 geldi. 29 Nisan 2025'te Qwen ekibi, bu seride tool calling ve thinking için kullandığımız modelin ailesi olan Qwen3'ü duyurdu.

Gemma Ailesi: 1'den 4'e

Serinin varsayılan modeli Gemma 3 olduğu için Google'ın open-weight ailesine ayrıca bakalım. İlk Gemma 21 Şubat 2024'te duyuruldu; ollama show gemma3:4b çıktısındaki "Gemma Terms of Use, Last modified: February 21, 2024" satırı da bu tarihi taşıyor. Gemma 2 27 Haziran 2024'te geldi. Gemma 3 12 Mart 2025'te "tek bir GPU ya da TPU üzerinde çalıştırabileceğin en yetenekli model" iddiasıyla duyuruldu; teknik raporu 25 Mart 2025'te arXiv'e yüklendi. Gemma 3'ün 4B, 12B ve 27B boyutları 128K bağlamı ve görüntü girdisini destekliyor, 140'tan fazla dili kapsıyor.

Gemma 4 ise 2 Nisan 2026'da duyuruldu ve aile önemli bir değişiklikle geldi: lisans, Gemma'ya özel kullanım şartlarından Apache 2.0'a geçti. Ollama kütüphanesinde gemma4 modelleri tools ve thinking yetenekleriyle listeleniyor. Bu seride gemma3:4b'nin tool calling desteklemediğini gördük; aynı ailenin bir sonraki nesli bu açığı kapatıyor. Burada bir model ailesinin nesilden nesle hem yetenek hem lisans açısından nasıl değişebildiğini görüyorsun.

Bağlam Penceresinin Büyümesi

Bu dönemin en somut değişimi context window'da oldu. GPT-3'ün 2.048 token'ından sonra GPT-4 Mart 2023'te 8K ve 32K ile geldi. Anthropic 11 Mayıs 2023'te Claude için 100K token'lık pencereyi duyurdu. 6 Kasım 2023'teki OpenAI DevDay'de GPT-4 Turbo 128K ile tanıtıldı. 21 Kasım 2023'te Claude 2.1 200K'ya çıktı. Google 15 Şubat 2024'te Gemini 1.5'i duyurdu; standart pencere 128K'ydı, 1 milyon token ise sınırlı bir önizlemeyle sunuldu. Bu yazının yazıldığı tarihte büyük sağlayıcıların dokümanlarında 1 milyon token'lık pencere listeleyen modeller var.

Yerelde de durum benzer: gemma3:4b kâğıt üstünde 128K destekliyor. Ama 4. yazıda gördüğümüz gibi Ollama bu makinede varsayılan olarak 4096 token ayırıyor ve fazlasını sessizce kesiyor. "Modelin desteklediği" ile "isteğine ayrılan" pencere aynı şey değil. Uzun pencere bir de bedava değil: 16. yazıda hesapladığımız gibi her token bir maliyettir ve 18. yazıda gördüğümüz gibi attention'ın hesabı pencere büyüdükçe artar.

Çok Kiplilik: Metnin Ötesi

Modeller yalnız metin okumayı da bıraktı. OpenAI 25 Eylül 2023'te ChatGPT'ye görüntü ve ses desteği getirdi. Google 6 Aralık 2023'te Gemini'yi tanıttı. OpenAI 13 Mayıs 2024'te "Hello GPT-4o" yazısıyla metin, ses ve görüntüyle çalışan GPT-4o'yu duyurdu.

Bu yetenek küçük open-weight modellere de indi. Kullandığımız gemma3:4b'nin ollama show çıktısındaki yetenekler arasında vision var ve 16. yazıda bu modelin 416 milyon parametrelik görüntü encoder'ını tensor tiplerinde görmüştük. Gemma 3 teknik raporuna göre görüntüler 896×896 piksele getirilip 256 token'a çevriliyor; yani bir görsel de sonunda context window'da yer kaplayan token'lardan ibaret.

Reasoning Modelleri

2022'deki chain-of-thought makalesi modele "adım adım düşün" demenin işe yaradığını göstermişti. Sonraki adım, bunu prompt'a bırakmak yerine eğitimin parçası yapmaktı. OpenAI 12 Eylül 2024'te "Learning to reason with LLMs" yazısıyla o1-preview'ı duyurdu: cevap vermeden önce uzun bir düşünme süreci üreten bir model. 20 Ocak 2025'te DeepSeek, DeepSeek-R1'i yayımladı; kod ve ağırlıklar MIT lisansıyla açıldı, makalesi 22 Ocak 2025'te arXiv'e yüklendi. Makalenin başlığı yaklaşımı özetliyor: akıl yürütme yeteneğini reinforcement learning ile teşvik etmek.

Ardından bu yaklaşım yaygınlaştı. Anthropic 24 Şubat 2025'te "extended thinking" moduyla Claude 3.7 Sonnet'i duyurdu. Qwen3 ise 29 Nisan 2025'te düşünen ve düşünmeyen modu tek modelde birleştirdi; 9. yazıda qwen3:4b ile think ayarını açıp kapatırken kullandığımız şey bu. Ollama da Mayıs 2025'teki v0.9.0 ile think parametresini ve ayrı thinking alanını ekledi.

Neden Sıralama Yok?

Bu yazıda "en iyi model şu" demedim ve bunu bilerek yapıyorum. Model sıralamaları aylar, bazen haftalar içinde değişiyor; benchmark sonuçları da görev türüne, prompt'a ve ölçüm yöntemine göre oynuyor. Bugün yazılan bir sıralama bu yazıyı birkaç ayda eskitir. Kalıcı olan şey eğilimler: pencereler büyüdü, küçük modeller yetenek kazandı, açık ağırlıklı modellerin lisansları gevşedi, reasoning ayrı bir mod hâline geldi. Model seçerken sağlayıcının güncel dokümanına bak ve 15. yazıdaki gibi kendi golden set'inle ölç.

Sık Düşülen Tuzaklar

Birincisi, open-weight ile açık kaynağı karıştırmak. Ağırlıkları indirebilmek, onları istediğin gibi kullanabileceğin anlamına gelmez. Gemma 3 Gemma'ya özel kullanım şartlarıyla gelirken Gemma 4 Apache 2.0 ile geliyor. DeepSeek-R1'in damıtılmış (distilled) küçük modelleri de temel aldıkları modellerin lisanslarını taşıyor. Ürüne koymadan önce lisansı oku.

İkincisi, ilan edilen context window'u kullandığın pencere sanmak. Yerelde ollama ps ile gerçekten ayrılan pencereye bak; bulutta da modelin sınırını ve uzun girdinin fiyatını kontrol et.

Üçüncüsü, reasoning modelini her işte kullanmak. Düşünme token'ları hem süre hem maliyet demek; 9. yazıda basit sorularda bu bedelin karşılığının olmadığını gördük.

Dördüncüsü, modelin bilgisinin güncel olduğunu varsaymak. Her modelin bir bilgi kesim tarihi var; Gemma 3'ünki Ağustos 2024. Bu yazıdaki 2025 ve 2026 olaylarını gemma3:4b'ye sorarsan bilmemesi normal; bilir gibi cevap verirse 15. yazıdaki halüsinasyonla karşı karşıyasın.

Küçük Bir Deneme

★☆☆ ollama show gemma3:4b ile modelin desteklediği context length değerine, bir istek attıktan sonra ollama ps ile gerçekten ayrılan CONTEXT değerine bak. İkisini GPT-3'ün 2.048 token'ıyla karşılaştır.

★★☆ qwen3:4b'ye basit bir aritmetik bulmaca sor; önce think: true, sonra think: false ile. eval_count ve eval_duration değerlerini karşılaştır. Cevaplar aynı mı? Düşünme kaç token'a mal oldu?

★★★ gemma3:4b'ye elindeki bir kitabın kapak fotoğrafını images alanıyla gönder ve kitabın adını, yazarını ve yayın yılını sor. Kapakta yazmayan bilgiyi (ör. yayın yılı) nasıl cevaplıyor? Cevabı doğrula ve bilgi kesim tarihiyle ilişkisini düşün.

Bir sonraki ve serinin son yazısında modellerden API'lere geçiyoruz: metin tamamlayan ilk API'den chat'e, function calling'den JSON mode ve structured outputs'a, reasoning parametrelerinden Model Context Protocol'e ve agent'lara kadar, bir geliştiricinin LLM'le konuşma biçiminin nasıl değiştiğine bakacağız.