Blog

Unbounded Consumption: Denial of Wallet, Context Bombası ve Agent Döngüsünü Sınırlamak

LLM'de maliyetin birimi istek değil token'dır; bu yüzden input, output, süre ve bütçe her istekte çağrıdan önce sınırlanır. 120 bin karakterlik bir dokümanın Ollama'da sessizce kırpılıp yanlış cevap ürettiğini, qwen3:4b'nin yedi kelimelik soruya 8.000 token düşünüp boş döndüğünü ölçüyor, rezervasyonlu kullanıcı ve tenant bütçesi, timeout ve state hash'li bir loop guard kuruyoruz.