Self-Instruct：用模型自生成指令完成指令微调

一句话结论

Self-Instruct 的贡献不是证明“模型可以凭空教会自己未知能力”，而是建立了一条可扩展的数据闭环：用 175 个人工种子任务唤起基础模型已经学到但尚未被组织成指令响应的能力，再生成指令与输入输出实例、过滤明显错误，最后把这些轨迹变成监督微调数据。它验证了合成指令数据可以显著改善指令遵循，但论文自己的质量审计也显示，只有 54% 的抽样数据同时通过指令、输入和输出检查；决定这条路线能走多远的，不只是生成规模，更是数据质量。

摘要译文

经过指令微调的大型语言模型能够以零样本方式泛化到新任务，但它们高度依赖人工编写的指令数据。这些数据往往在数量、多样性和创造性上受限，从而限制模型的通用性。本文提出 Self-Instruct：一种利用模型自身生成结果来改善预训练语言模型指令遵循能力的框架。它让语言模型生成指令、输入和输出样本，过滤无效或相似数据，再用保留下来的数据微调原始模型。

作者将该方法应用于未经指令微调的 GPT-3。Self-Instruct 在 Super-NaturalInstructions 上比原始 GPT-3 获得 33.1 个 ROUGE-L 点的绝对提升，接近使用私有用户数据和人工标注训练的 InstructGPT-001。作者还编写了 252 个面向新颖用户场景的任务；人工评测显示，Self-Instruct GPT-3 明显优于使用现有公开指令数据微调的 GPT-3，如果把“基本可接受但有轻微缺陷”的回答也计为有效，与 InstructGPT-001 的差距约为 5 个百分点。论文公开了大规模合成数据、评测任务和生成代码。

论文地图

原文章节	回答的问题	精读重点
§1 Introduction	人工指令数据为何成为瓶颈？	从人工任务集合转向模型辅助扩展任务空间
§2 Method	Self-Instruct 如何生成训练数据？	指令生成、任务分类、实例生成、过滤、微调
§3 Data from GPT3	生成了多少数据，质量如何？	52,445 条指令、82,439 个实例、54% 全字段有效
§4 Experiments	合成数据是否改善指令遵循？	SuperNI、252 个用户任务、数据规模与质量实验
§7–8 Impact & Limitations	方法可能带来哪些风险？	长尾任务、大模型依赖、偏差放大、标签不平衡
Appendix	复现实验需要哪些条件？	API 参数、历史成本、种子任务、人工评测一致性

1. 研究问题：没有大量人工指令，能否获得指令遵循能力

传统预训练优化的是“预测下一个 token”，用户真正需要的却是“理解一个自然语言任务说明，并按要求完成它”。把两者连接起来通常依赖指令微调数据：每条数据至少包含任务指令、可选输入和目标输出。

论文指出，人工构建这类数据有两个瓶颈：

创造任务需要多样性。 标注者容易反复写熟悉的分类、问答或摘要任务，难以覆盖真实用户可能提出的长尾需求。
给出答案需要专业能力。 编程、逻辑转换、写作、信息抽取等任务需要不同知识，单纯扩大普通标注规模不一定能保证正确性。

Self-Instruct 的研究问题是：一个已经通过预训练获得广泛语言能力、却不会稳定遵循指令的模型，能否利用少量人工任务作为“启动器”，自行扩充指令数据，再用这些数据改善自己？

这里的“自行”有明确边界。任务方向仍由 175 个人工种子决定，数据通过人工设计的提示模板和启发式规则生产，最终还需要一次标准监督微调。它减少的是逐条编写大规模指令实例的成本，并没有移除人类对目标、流程和质量规则的设计。

2. 方法：从种子任务到监督微调数据

2.1 指令数据的形式

论文把任务 $t$ 表示为一条自然语言指令 $I_{t}$ ，以及至少一个输入输出实例 $(X_{t, i}, Y_{t, i})$ 。模型 $M$ 应当满足：

M (I_{t}, X_{t, i}) = Y_{t, i}, i \in {1, \dots, n_{t}}

输入 $X$ 可以为空。例如，“写一篇关于校园安全的文章”可以作为一条无需额外输入的完整指令；也可以拆成“写一篇关于以下主题的文章”与输入“校园安全”。作者有意保留两种格式，避免模型把指令遵循误学成某一种固定字段模板。

2.2 四阶段生成管线

阶段	输入	模型或规则做什么	主要失败风险
1. 指令生成	任务池中抽取 8 条指令	生成新任务说明	模仿种子、任务重复、不可执行
2. 分类任务识别	新指令	判断输出是否来自有限标签空间	错分任务类型，影响后续生成方式
3. 实例生成	指令与任务类型	生成输入和目标输出	标签偏斜、输入不成立、答案错误
4. 过滤与回收	新指令及实例	删除相似、无效或明显异常数据；保留任务加入任务池	规则只能发现表面错误，语义错误会漏过

初始任务池包含 175 个人工任务，其中 25 个分类任务、150 个非分类任务。每次生成新指令时，提示中使用 8 个上下文示例：6 个始终来自人工种子，2 个来自之前的模型生成任务。这个比例既保持质量锚点，也让后续生成能够逐步离开最初的任务分布。

2.3 为什么分类任务要反向生成

对于非分类任务，Self-Instruct 使用 input-first：先根据指令生成输入，再完成输出。这与实际使用模型时的顺序一致。

但在分类任务上，input-first 容易继承模型的标签先验。例如生成语法错误检测数据时，模型可能大量生成语法正确的句子，使某个标签占据多数。论文因此改用 output-first：

先列出任务允许的类别标签；
选定一个标签；
在这个标签条件下生成输入。

这不是为了让模型“看到答案”，而是把类别变成生成约束，从数据生产阶段缓解标签不平衡。论文后面的局限部分也承认，该问题并未被彻底解决，迭代生成仍可能放大基础模型已有偏差。

2.4 过滤规则能做什么、不能做什么

新指令只有在它与任务池中所有既有指令的最高 ROUGE-L 相似度低于 0.7 时，才会被加入任务池。作者还过滤：

包含 image、picture、graph 等当时纯文本模型难以处理的关键词；
完全重复的实例，或输入相同但输出冲突的实例；
过长、过短等格式异常的指令；
输出机械重复输入等明显无效结果。

这些规则擅长控制重复、长度和字段一致性，却不能可靠判断代码是否正确、事实是否真实、建议是否安全。因此，Self-Instruct 的过滤器更像一个格式与近重复闸门，不是语义验证器。

2.5 用生成数据微调原模型

生成结束后，作者把指令与可选输入拼成 prompt，以目标输出作为 completion，通过 OpenAI API 对同一个 GPT-3 davinci 模型做两轮监督微调。为提高格式鲁棒性，训练时随机变化 Task:、Input:、Output: 前缀、换行数量和字段是否显式标注。

因此，Self-Instruct 的完整闭环是：

人工种子 \to 模型生成 \to 规则过滤 \to 监督微调 \to 更强的指令遵循模型

论文只运行一次大规模数据生成与微调，没有在实验中反复用新模型继续生成下一代数据。把 Self-Instruct 描述为无限自我迭代，会超出论文实际验证范围。

3. 生成数据：规模、多样性与质量

3.1 数据规模

过滤后数据的统计如下：

指标	数量或均值
指令总数	52,445
分类指令	11,584
非分类指令	40,861
输入输出实例总数	82,439
输入为空的实例	35,878
平均指令长度	15.9 词
非空输入平均长度	12.7 词
输出平均长度	18.9 词

52K 指令并不等于 52K 个完全独立、语义正确的任务。一个任务可能包含多个实例，自动过滤也没有验证所有答案；这就是作者单独进行质量抽检的原因。

3.2 多样性证据

作者从指令中抽取最接近句法根节点的动词及其第一个直接宾语。52,445 条指令中有 26,559 条符合这种动词—名词结构，其中最常见的 20 个动词及各自前四个宾语合计只覆盖全部指令的 14%。这说明数据不只集中在少数“分类、回答、总结”模板上，但该指标看不到不符合简单动宾结构的任务，也不能证明任务在能力层面彼此独立。

论文还计算每条生成指令与 175 个种子任务的最大 ROUGE-L，相似度整体集中在较低区间。附录用另一项测试检查种子与评测集的重合：种子指令对 SuperNI 的平均最高 ROUGE-L 为 0.21，对 252 个用户任务为 0.34；用户任务中有一条与种子完全相同的通用指令“回答下面的问题”，但其具体问题不同。它降低了明显文本复制的疑虑，仍不能排除语义相近、预训练记忆或 API 模型已见过评测内容。

3.3 质量审计：主要瓶颈在输出

作者随机抽取 200 条指令，并从每条指令随机选择一个实例，由一位作者判断三个字段是否有效：

审查问题	通过率
指令是否描述了一个有效任务	92%
输入是否适合该指令	79%
输出是否正确且可接受	58%
指令、输入、输出全部有效	54%

这组数字是理解论文的关键。生成模型通常能写出“看起来像任务”的指令，但从指令继续生成一个正确实例更难；输出通过率只有 58%，最终有 46% 的抽样数据至少一个字段存在问题。论文仍观察到明显的训练收益，说明监督数据不必完美才有用；它并不意味着噪声无害，后面的质量实验恰好显示，提高输出质量可以继续带来显著增益。

4. 实验设计

4.1 模型与对照组

主体实验围绕 175B 参数的 GPT-3 davinci 展开。主要对照包括：

未经指令微调的 T5-LM 11B 与 GPT-3；
公开指令微调模型 T0 11B、Tk-Instruct 11B；
在 PromptSource/T0 数据或 SuperNI 数据上微调的 GPT-3；
私有训练流程产生的 InstructGPT-001，以及仅在用户任务评测中加入的 002、003。

为了控制公开数据训练规模，作者从 T0 和 SuperNI 各采样 50K 个实例，同时覆盖其全部训练指令，使其规模接近 Self-Instruct 数据。但数据来源、任务分布、标注方式和模型训练历史仍不相同，因此这些比较回答的是“在这组实际可用的数据方案中谁更好”，不是严格隔离每个因素的单变量消融。

4.2 两套评测

评测集	内容	规模	评测方式
Super-NaturalInstructions（SuperNI）	典型 NLP 任务，偏研究任务与分类	119 个未见任务，每个 100 个实例	只给任务定义的零样本生成；ROUGE-L
User-Oriented Instructions	邮件、社交媒体、生产力、娱乐、编程等用户场景	252 个新任务，每个 1 个实例	两位任务作者独立进行 A/B/C/D 专家评审

GPT-3 变体在 SuperNI 上使用温度 0、无 nucleus sampling 的确定性生成，不提供任务内示例。用户任务则采用四级评分：

等级	含义
A	正确且令人满意
B	基本可接受，但有轻微错误或瑕疵
C	回应了指令，但内容有显著错误
D	无关或完全无效

这两套评测分别测“标准 NLP 泛化”和“开放用户需求”，避免只在与公开训练集风格接近的任务上得出结论。

5. 实验结果

5.1 SuperNI：显著改善基础模型，但专门训练仍占优势

原论文表 3 的 ROUGE-L 如下：

模型或训练数据	参数量	ROUGE-L
T5-LM	11B	25.7
GPT-3	175B	6.8
T0	11B	33.1
GPT-3 + T0 Training	175B	37.9
GPT-3 Self-Instruct	175B	39.9
InstructGPT-001	175B	40.8
Tk-Instruct	11B	46.0
GPT-3 + SuperNI Training	175B	49.5
GPT-3 Self-Instruct + SuperNI Training	175B	51.6

GPT-3 Self-Instruct 相对原始 GPT-3 从 6.8 提升到 39.9，论文所谓“33% absolute improvement”准确说是 33.1 个 ROUGE-L 点，不是相对增长 33%。它比同规模的 T0 数据训练高 2.0 点，并与 InstructGPT-001 相差 0.9 点。

另一方面，直接在 SuperNI 训练数据上微调的模型仍然更强，作者将其归因于训练与测试的指令风格和格式更接近。Self-Instruct 数据与 SuperNI 结合后从 49.5 提升到 51.6，支持它可作为互补数据，而不是取代所有人工领域数据。

5.2 252 个用户任务：接近 InstructGPT-001，但评测规模有限

图 6 给出每个模型在 252 个任务上的评级计数。下表的“可接受率”是 A 与 B 之和除以 252：

模型	A	B	C	D	A+B 可接受率
Vanilla GPT-3	1	0	64	187	0.4%
GPT-3 + T0 Training	44	31	59	118	29.8%
GPT-3 + SuperNI Training	74	30	80	68	41.3%
GPT-3 Self-Instruct + SuperNI	83	54	84	31	54.4%
GPT-3 Self-Instruct	112	49	66	25	63.9%
InstructGPT-001	128	45	61	18	68.7%
InstructGPT-002	168	40	34	10	82.5%
InstructGPT-003	192	30	28	2	88.1%

Self-Instruct 的可接受率比 InstructGPT-001 低 4.8 个百分点，对应摘要所说的“约 5% 差距”；如果只计算完全满意的 A 级，两者分别是 44.4% 与 50.8%，差距为 6.4 个百分点。更新的 InstructGPT-002/003 则明显更强。

评测由两位编写这些任务的论文作者完成，每人独立看完全部匿名、随机排序的模型输出。正文报告四级评分的 Cohen’s $κ = 0.57$ ，附录给出 0.58；把 A/B 与 C/D 合并为二分类时 $κ = 0.75$ ，把等级视为有序变量时 Spearman $ρ = 0.81$ 。论文最终图表采用其中一位评审者的结果，另一位给出的总体趋势相同。这个设计比普通众包更能覆盖专业任务，但样本只含每个任务一个实例，评审者又同时是数据和论文作者，因此不能把 5 个百分点视为高精度、跨人群稳定的产品差异。

5.3 数据规模：收益会饱和

作者从合成数据中采样不同数量的指令，分别微调 GPT-3，再用 252 个用户任务统计 A 级回答比例：

训练指令数	A 级回答比例
仅 175 个种子任务	31.0%
800	36.9%
6,400	43.7%
51,200	44.4%

用户任务上的收益在约 16K 条指令后趋于平台；在 SuperNI 上甚至只用数百条就较早饱和。更多合成数据仍然有帮助，但边际收益迅速下降，且不同评测分布的饱和点并不相同。

5.4 数据质量：改善输出比继续堆量更有效

作者让当时更强的 InstructGPT-003 根据原指令和输入重新生成所有输出，再用这批“改良输出”微调 GPT-3。在 51,200 条指令规模下，A 级回答比例从 44.4% 提升到 54.4%，增加 10 个百分点。

这项实验强烈支持“输出质量仍是主要上限”，但它并非纯粹的过滤消融：新的答案来自一个更强、训练流程不透明的教师模型，改善可能同时包含纠错、知识蒸馏和风格迁移。能确认的是，Self-Instruct 的任务发现管线与更高质量的目标答案可以组合；不能确认的是，仅靠原模型自我筛选能得到同样收益。

6. 补充实验与复现条件

附录公开了四组 GPT-3 API 查询参数、生成提示模板、175 个种子任务和 252 个用户任务。数据生成阶段对 davinci 的指令生成使用温度 0.7、top-p 0.5；任务分类和实例生成使用温度 0。微调使用 OpenAI API 默认超参数，只把 prompt_loss_weight 设为 0，并统一训练两轮。

论文记录的历史成本是：按 2022 年 12 月 davinci 每千 token 0.02 美元计算，生成完整数据约 600 美元；微调整个 Self-Instruct 数据约 338 美元。这些数字只描述当时 API 与定价，不能直接作为今天的成本估算。

严格复现仍受三点限制：

davinci 与论文使用的微调 API 已不是一个可长期固定的开放权重环境；作者也不知道 API 内部具体更新哪些参数、使用什么优化器；
模型采样、服务端实现与模型版本可能影响生成数据，仓库 README 也提醒数据含错误与偏差；
主结果集中在一个 175B 基础模型上，没有展示模型规模变化、开放权重模型或多轮自举结果。

公开代码与数据足以复查管线、提示和产物，却不足以保证今天能逐 token 重现论文的 GPT-3 训练结果。

7. 论文结论与证据边界

本节只区分作者主张、论文提供的证据，以及这些证据不能推出什么。

作者主张	论文提供的证据	证据边界
自生成指令数据能改善指令遵循	GPT-3 在 SuperNI 上提升 33.1 点；用户任务可接受率从 0.4% 提升到 63.9%	证据集中在 GPT-3 `davinci` 与 2022 年 API，不能直接外推到所有模型与训练方式
方法几乎不需要标注	只以 175 个人工种子启动，随后自动生成 52K 指令和 82K 实例	仍依赖人工种子、提示模板、过滤规则、专家评测与监督微调；是“大幅减少逐条标注”，不是无人参与
生成任务具有多样性	动宾结构分布、与种子任务的 ROUGE-L 分布、用户场景示例	词法和句法多样不等于能力多样，也不能检测语义重复或预训练记忆
Self-Instruct 接近 InstructGPT-001	SuperNI 相差 0.9；用户任务 A+B 可接受率相差约 4.8 个百分点	私有训练数据与算法不可见，比较无法控制数据规模、质量和训练过程
扩大数据规模能持续改善模型	175 到 51,200 条指令的 A 级比例从 31.0% 增至 44.4%	用户任务在约 16K 后趋于平台，SuperNI 更早饱和；只有单模型、单轮训练曲线
提高数据质量能带来额外收益	更强模型重写输出后 A 级比例提高 10 个百分点	同时引入更强教师，无法把收益完全归因于“质量”这一抽象变量

作者明确承认三类限制：低频、罕见和真正创新的任务可能仍然脆弱；方法可能更依赖大模型，从而制造计算与访问门槛；迭代生成会继承并放大性别、种族等社会偏差，分类数据也可能出现标签不平衡。

质量抽检给出了更直接的警告：46% 的样本至少一个字段存在问题。对于开放式写作，这些问题可能只是轻微瑕疵；对于代码、医疗、金融、安全建议或涉及现实行动的任务，同样的错误率可能不可接受。论文证明了噪声数据仍能训练出更好的指令遵循模型，没有证明这些合成答案适合未经审核地投入高风险场景。

8. AI 解读：这篇论文真正留下了什么

以下是 AI 基于论文证据作出的延伸分析，不是作者原文结论。

8.1 Self-Instruct 是数据飞轮，不是神秘的“模型自我觉醒”

基础模型已经在预训练中接触了大量任务模式，但标准续写目标没有要求它稳定地把“指令 + 输入”映射成用户期望的输出。Self-Instruct 通过采样把这些潜在模式外化成数据，再通过微调强化统一的交互格式。它更像把分散能力重新组织成产品接口，而不是让模型获得训练语料之外的全新知识。

8.2 教师与学生是同一个模型，仍然可能有效

这看似违反直觉：一个不会稳定听指令的模型，为什么能生成有用的指令训练数据？关键在于“单次生成质量”和“分布级训练信号”不是同一件事。模型在适当上下文中偶尔能够生成有效任务与答案；规模化采样、过滤和格式统一把这些成功片段积累起来，微调再提高它在没有示例时稳定复现这些行为的概率。

这也解释了上限：模型很难可靠纠正自己不知道的事实，或者识别自己生成的隐蔽错误。Self-Instruct 可以放大已有能力的可用性，却需要外部验证、强教师或人类知识来突破自身盲区。

8.3 真正的系统核心是质量闸门

论文标题突出“自生成”，实验却显示自动过滤后的全字段有效率只有 54%。因此，一套现代化实现的竞争力更可能来自生成之后的验证：结构校验、语义去重、可执行测试、事实核验、安全规则、模型评审与人工抽检如何组合，以及每种任务允许多高的错误风险。

ROUGE-L 阈值和关键词过滤是低成本的第一层，但不能承担最终质量判断。对代码可以运行测试，对数学可以验证答案，对引用可以检查来源，对开放写作则需要明确评分量表。验证器必须与任务类型匹配。

8.4 数据质量与覆盖面应当共同优化

只追求数量会很快遇到平台：用户任务约 16K 后边际收益降低，而更强教师重写输出一次就带来 10 个百分点提升。反过来，只保留最容易验证的数据，又可能把训练分布压缩到简单、高频任务。更合理的目标不是“最大数据集”，而是在质量、任务覆盖、难度和风险之间建立可测量的配额。

8.5 合成数据会复制生成器的盲区

当任务、输入和答案都来自同一个模型时，三者可能形成自洽但错误的闭环：错误任务配上错误答案，表面格式仍然完美。基础模型偏好的语言、文化和任务类型也会被反复采样。论文对长尾与偏差放大的警告意味着，种子数据、采样策略和评测集必须刻意引入模型不擅长的分布，而不是只测生成器喜欢生成的任务。

8.6 这篇论文把“模型研发”部分转化成了“数据系统设计”

Self-Instruct 最耐久的工程启示是：模型能力提升不只来自更大的参数或更复杂的训练目标，也来自一条可以审计的数据生产链。种子从哪里来、生成器如何采样、哪些数据被拒绝、质量如何复核、训练与评测是否泄漏，都成为与模型架构同等重要的设计变量。

9. 相关工作坐标

FLAN / Tk-Instruct / Super-NaturalInstructions：依赖大规模人工整理的任务与模板进行跨任务指令微调；Self-Instruct 试图自动扩展任务数量和类型。
T0 / PromptSource：把已有 NLP 数据集转换成多种自然语言提示；Self-Instruct 不要求先有一个固定下游数据集，而是生成任务定义本身。
InstructGPT：结合人工示范与人类反馈训练通用指令模型；Self-Instruct 更开放、更便宜，但质量控制和偏好对齐能力更弱。
Unnatural Instructions：与 Self-Instruct 同期探索大规模模型生成指令数据，但使用 SuperNI 任务作为种子，并由已完成指令微调的模型生成，数据分布和教师来源不同。
Self-training：通常在一个已知任务的无标签样本上产生伪标签；Self-Instruct 同时生成任务、输入和标签，扩展的是任务空间本身。
Knowledge Distillation：通常由更强教师向较小学生传递知识；Self-Instruct 主实验的生成器与学生是同一模型，更接近把模型已有知识重新组织成指令监督信号。