şema · büyüyor
Ne zaman fine-tune
Biçim için evet, olgular için hayır. Sıra: prompt, RAG, fine-tune, distill.
Fine-tuning olgular için değil, biçim için. Her hafta değişen bilgiyi ağırlıklara yakmak, her değişiklikte yeniden eğitmek demek.
Rendering diagram…
İki meşru iş
- Distillation. Güçlü bir modelin davranışını küçük, ucuz, hızlı bir modele taşı. Kazandığın şey maliyet ve latency.
- Kalıntıyı sabitlemek. Prompt’un tutamadığı ton, çıktı şeması ve ret kalıpları. Hiç %100’e ulaşmayan uzun kuyruk.
Sırayı bozma: Prompt → RAG → Fine-tune → Distill. RAG’i ölçmeden fine-tune’a uzanmak, problemi bilmeden GPU kiralamaktır.