şema · olgun

Hayır demek: üç bant

kNN asla 'yakın bir şey yok' demez; cosine gri bölgede çakışır, o yüzden bir taban, bir not ve bir yargıç.

En yakın komşu aramasının "yakın bir şey yok" diye bir kavramı yok. Bir codebase'e beş yıldızlı bir tatil köyüne gidip gitmediğini sor, sekiz chunk döndürür (en iyi skor 0.366). Halüsinasyon tam orada başlıyor.

en yüksek dense skor üzerinde CRAG tarzı bantlar
0.45'in altıatıldı, sayıldı
0.45 – 0.55weak-match notuyla döndü
0.55 ve üstünormal

Neden tek eşik değil

Bu model ve corpus'ta cosine gri bölgeyi ayırmıyor: gerçek cevapların top-1 dense medyanı 0.636, minimumu 0.526; alakasız soruların medyanı 0.524, maksimumu 0.587. Üst üste biniyorlar. Tek bir kesim ya gerçek cevapları atıyor ya da çöpü içeri alıyor.

Kapı13 negatifte abstain42 pozitifte yanlış alarmek latency
0.55 altına not0.8330.0480
taban 0.45 + not 0.55 ✓0.8460.0480
reranker skoru 0.05 altı1.0000.286+550 ms

Taban, golden set'ten hiçbir şey eksiltmedi ve tatil köyü sorusunu boş bir sonuca çevirdi. Hâlâ sızan iki negatif, repo'da gerçekten benzer kod olan sorular — orada karar okuyucuya ait.

#abstention #crag #calibration

Bu notu beyaz tahtada gör →