wxya（个人网站）Few-Shot, Zero-Shot & One-shotbb
Zero-shot：Prompt中只给出需要解答的问题。
One-shot：Prompt中除了问题，还给出一个参考题（包含题目和解答）。
Few-shot：与One-shot只给出一个参考题不同，few-shot是给出多个参考题。
先解释 one-shot。公司门禁用了人脸识别，你只提供一张照片，门禁就能认识各个角度的你，这就是 one-shot。可以把 one-shot 理解为用 1 条数据 finetune 模型。在人脸识别场景里，one-shot 很常见。
zero-shot 与 few-shot，回到 NLP 场景。用 wikipedia、新闻等，训练一个 GPT 模型，直接拿来做对话任务，这个就是 zero-shot。然后，发现胡说八道有点多，找了一些人标注了少量优质数据喂进去，这就是 few-shot。
chatGPT 的发展史，就是从 zero-shot 到 few-shot。（摘自沐神的 paper reading 系列）
- 背景。GPT-3 之前，跟 Bert 是两条路线的竞争关系。
- GPT-2 是 zero-shot。效果没有超过 bert，又想发 paper，就把自己的卖点定义为 zero-shot（方法创新），即完全的无监督学习，论文的题目：Language Models are Unsupervised Multitask Learners。
- GPT-3 是 few-shot。效果比 bert 好，不用找学术方法的卖点了，而且，zero-shot 做产品的性价比确实不高，换成了 few-shot，也就是找了一些人做标注。论文的题目：Language Models are Few-Shot Learners。
- chatGPT 是 HFRL。GPT-3 之后的问题是：few-shot 时到底 shot 啥（标注哪些数据）？他们跟强化学习结合起来，也就是 human feedback reenforcement learning，俗称 HFRL。也就是 chatGPT 的核心技术。
Loading...