Blog
Mert Özen'in yazılım geliştirme, backend, frontend ve DevOps üzerine blog yazıları.
robots.txt Rehberi: RFC 9309, Allow/Disallow Kuralları ve Neyi Engellememelisin?
robots.txt crawl'ı kontrol eder, index'i değil: crawler kendi adını taşıyan tek group'u izler, en uzun eşleşen kural kazanır, 5xx dönen bir robots.txt crawl'ı durdurur. RFC 9309 kurallarını C# ile test ediyor, ASP.NET Core'da environment'a göre robots.txt üretiyor, Angular SSR'ın robots.txt'ye bir yıllık cache header'ı verdiğini ve mertozen.com'un dosyasını inceliyoruz.
AI Bot'larını Tanımak ve Yönetmek: Training, Search ve User-Fetch Ayrımı
AI bot'ları üç sınıftır: GPTBot ve ClaudeBot gibi training crawler'ları, OAI-SearchBot ve Claude-SearchBot gibi search bot'ları ve ChatGPT-User gibi kullanıcı isteğiyle gelen fetch'ler; training'e kapatıp alıntıya açık kalmak için yalnız ilk sınıfı engellersin. robots.txt senaryolarını RFC 9309 kurallarıyla doğruluyor, Google'ın snippet ve Search Console kontrollerini, mertozen.com'un robots.txt'ini ve log'da AI bot ayırmayı gösteriyoruz.