Blog

Doküman Ingestion: PDF, HTML ve Markdown'dan Temiz Metin, Metadata ve Artımlı Güncelleme

RAG'in kalitesi ingestion'da başlar: PDF'ten gelen "fi" ligature'ı Contains("fiyat") aramasını false yaptı, sayfa numarası bir bölümün ortasına girdi, HTML menüsü chunk'a karıştı. Temiz metin, chunk başına metadata, Microsoft.Extensions.DataIngestion (preview) ile pipeline ve kısmi başarı, içerik hash'iyle artımlı güncelleme ve silinen dokümanların index'ten çıkarılması.