Blog
Mert Özen'in yazılım geliştirme, backend, frontend ve DevOps üzerine blog yazıları.
Doküman Ingestion: PDF, HTML ve Markdown'dan Temiz Metin, Metadata ve Artımlı Güncelleme
RAG'in kalitesi ingestion'da başlar: PDF'ten gelen "fi" ligature'ı Contains("fiyat") aramasını false yaptı, sayfa numarası bir bölümün ortasına girdi, HTML menüsü chunk'a karıştı. Temiz metin, chunk başına metadata, Microsoft.Extensions.DataIngestion (preview) ile pipeline ve kısmi başarı, içerik hash'iyle artımlı güncelleme ve silinen dokümanların index'ten çıkarılması.
Vector Database Seçimi: pgvector, SQL Server 2025, Qdrant, Azure AI Search ve Elasticsearch
Önce mevcut veritabanının vector desteğini dene; ANN index'ini de kendi verinde recall ölçerek ayarla. 100.000 vektörlük pgvector tablosunda exact arama 237 ms, HNSW 1 ms sürdü ama varsayılan ef_search ile recall 0.83 kaldı; filtreli sorguda index'e zorlanan HNSW sıfır satır döndürdü, iterative scan 10 satırı buldu. HNSW, IVFFlat, DiskANN, metric seçimi ve beş seçeneğin karşılaştırması.
EF Core ile Vector Search (2): PostgreSQL pgvector, HNSW Index ve Dapper
Pgvector.EntityFrameworkCore ile Vector property, HNSW index ve CosineDistance sıralaması birkaç satırda kurulur; asıl risk sessiz hatalarda: vector_l2_ops ile kurulan index cosine sorgusunda hiç kullanılmadı, ReloadTypes unutulunca Npgsql vektörü yazamadı. Yetki filtresiyle arama, EXPLAIN kontrolü, halfvec ile storage'ı yarıya indirmek (30 sorunun 30'unda aynı top-5) ve aynı sorgu Dapper ile.
Hybrid Search ve Reciprocal Rank Fusion: Keyword ile Vector Aramayı Birleştirmek
Vector search ürün kodu, ISBN ve nadir terimleri kaçırır; PostgreSQL tsvector (turkish) ile keyword aramayı ekleyip iki listeyi skorla değil sırayla, Reciprocal Rank Fusion ile birleştirmek bu açığı kapatır. EF Core, tek SQL sorgusu ve VectorData HybridSearchAsync ile kuruyor, 30 soruda vector, keyword ve hybrid recall'unu ölçüyoruz.
RAG'de Yetki ve Güvenlik: Doküman Seviyesi Permission, Multi-tenant Filtre ve Indirect Prompt Injection
RAG'de yetki prompt'taki bir rica değil, retrieval sorgusunun WHERE cümlesidir: "bunu gösterme" denen gemma3:4b personel indirimini müşteriye söyledi. Tenant ve ACL'i token'dan alıp EF Core 10 isimli query filter'larıyla sorguya koyuyor, HNSW filtresinin 10 yerine 1 sonuç döndürmesini ve zehirli bir okur yorumunun kart numarası istemesini ölçüyoruz.