deney · büyüyor
Retrieval eval, izole
Hit rate, recall@k, MRR, NDCG. "Doğru şey getirildi mi" cevap kalitesinden önce gelir.
RAG’i uçtan uca ölçmeden önce izole ölç: verili bir soru için getirilen chunk’lar doğru olanlar mıydı? Cevap kalitesi bu cevaba bağlı.
Rendering diagram…
Veri seti
Girdi bir soru, çıktı onu cevaplayan ground-truth doküman id’leri. Elle 20 tane yaz, sonra chunk’lardan sentetik sorular üreterek büyüt.
| Metrik | Ne söylüyor |
|---|---|
| Hit rate | doğru chunk top-k içinde hiç var mı |
| recall@k | alakalı chunk’ların kaçı geri geldi |
| MRR | ilk doğru sonuç ne kadar üstte |
| NDCG | sıra da doğru mu — reranking’in metriği |
Benchmark olmadan RAG yapmak, hangi değişikliğin neyi iyileştirdiğini bilmeden düğme çevirmektir.