deney · büyüyor
Prompt’tan önce eval
Yirmi vaka ve bir diff, her türlü prompt sezgisini yener.
Eval’siz prompt ayarlamak, üstüne birkaç adım eklenmiş vibe’dan ibaret. Eval’in sofistike olması gerekmiyor; prompt değişmeden önce var olması gerekiyor.
20 vakagerçek girdiler
Çalıştırsabit seed
Puanlarubrik ya da assert
Diffson çalıştırmaya göre
Başlangıç seti
| Tür | Adet | Ne yakalar |
|---|---|---|
| Golden | 10 | happy path’teki regresyonlar |
| Adversarial | 5 | prompt injection, ret tuzağı |
| Sıkıcı | 5 | boş girdi, devasa girdi, yanlış dil |
Modelle puanlamak
Cevap gerçekten açık uçluysa kullan, ve o zaman:
- Her seferinde tek boyut puanla. Tek bir "bu iyi mi" skoru gürültüdür.
- Judge’a rubriği ve bir referans cevabı ver.
- Bir örneklem üzerinde judge/insan uyumunu takip et. Hiç denetlemediğin bir judge, görgülü bir rastgele sayı üretecidir.