把分类、摘要、问答、翻译等一切 NLP 任务都塞进一个框架里输入是文本输出也是文本。从地位和后续影响来说T5 可以说是现代自然语言指令对话的起点是对 NLP 任务形式的首次大一统因此本篇同样先展开 T5 本身的架构再说明其 RPE 逻辑。1. 如何训练统一模型#如何统一训练统一模型其实这部分内容就是整篇论文的核心思路T5 将模型训练分为两部分使用 span corruption 的无监督预训练。使用 task prefix 的监督多任务训练。下面就来分点展开1.1 跨度破坏 Span Corruption#T5 本身的整体架构仍然是原始 Transformer 的编码-解码架构。而这部分是模型的第一阶段训练它使用 C4 数据集一个包含数百亿个 token 的语料库进行无监督预训练。这里的关键词就是题目里的Span Corruption概括来说是这样的从输入序列中随机选取一些连续的 token 片段,替换为哨兵 token以预测这些哨兵 token 为目标训练整个模型的基础语言理解能力。这部分其实和我们之前讲的 Word2Vec 的逻辑是类似的只是前者训练的是词向量表而现在我们训练的是整个模型的所有相关参数。其实还有另外一个相关的概念是 BERT它的想法是遮住单个 token 后判别恢复而 T5 改为了遮住连续 token 生成恢复等涉及到相关内容我们再展开。拿一个英文句子举例Thank you for inviting me to your party last week假设我们抹掉两个 spanfor inviting →Xlast week →Y现在模型的输入和标签其实是这样的输入[替换 span 后的原句子] Thank you X me to your party Y 目标输出[哨兵 token 序号对应预测内容···结束符] X for inviting Y last week Z你会发现多了一个Z实际上这是在训练阶段我们手动添加的作为生成任务的结束符加入学习内容。这和我们之前的 语言模型中提到的EOS是一个道理。按这种方式使用海量数据进行训练后模型便拥有了基础的语言理解能力。但要注意我们要的不是一个“填空模型”这种做其实就是为了给模型的参数进行一个具备语言理解能力的初始化所以才被称为“预训练”。而下面这步才是实现“统一”的逻辑。1.2 任务前缀 task prefix#这部分其实是最好理解的部分但也是实现 NLP 任务统一的最大前提给所有使用的数据加一个任务前缀让 Transformer 架构按前缀生成对应类型的输出序列。就像这样任务传统做法T5 的做法翻译Encoder-Decoder 架构标准 Seq2Seq输入translate English to German: ...输出译文摘要专门的 Seq2Seq 模型输入summarize: ...输出摘要分类BERT 分类头输入cola sentence: ...输出acceptable/unacceptable相似度双塔 回归头输入stsb sentence1: ... sentence2: ...输出3.8问答专门的抽取式/生成式模型输入question: ... context: ...输出答案你会发现这种设计就是把任务类型放到了输入序列中通过大量数据让模型学习到相应的生成模式实现把所有任务塞进 Seq2Seq 框架的逻辑。这样我们不再需要为每个任务单独写一个输出头 → 损失函数的代码了整个训练流程只有一个入口一个出口使用统一的 Seq2Seq CrossEntropy 损失函数。但显然你也会发现相应的局限使用这样的数据格式训练就一定要使用这样的格式推理甚至真实应用。所以虽然可以通过预处理脚本完善相应的下游逻辑但这种格式仍然有些僵硬因此也指引了后续的改进方向。从今天的视角看Task Prefix 本质上已经是 Prompt Engineering 的早期雏形任务本身被编码成自然语言输入让模型通过上下文理解“现在应该做什么”。2. Pre-LN 与去掉 LayerNorm 的偏置#看完了 T5 的核心框架和预训练除去我们单独搁置的 RPE 逻辑外T5 还有一处较小的改进度点我们也简单展开一下2.1 Post-Norm 到 Pre-Norm 的回归#我们在 Transformer Block 那篇里中已经展开过 Post-Norm 和 Pre-Norm 了T5 同样采用了 Pre-Norm即 LayerNorm 放在残差之前(())这个选择并非 T5 首创但它结合了另一个改动2.2 去掉 LayerNorm 的偏置 β#我们知道标准的 LayerNorm 公式是⊙−其中 γ 是可学习的缩放参数β 是可学习的偏置参数。现在T5 把 β 砍掉了只剩下
：NLP任务的首次大一统
把分类、摘要、问答、翻译等一切 NLP 任务都塞进一个框架里输入是文本输出也是文本。从地位和后续影响来说T5 可以说是现代自然语言指令对话的起点是对 NLP 任务形式的首次大一统因此本篇同样先展开 T5 本身的架构再说明其 RPE 逻辑。1. 如何训练统一模型#如何统一训练统一模型其实这部分内容就是整篇论文的核心思路T5 将模型训练分为两部分使用 span corruption 的无监督预训练。使用 task prefix 的监督多任务训练。下面就来分点展开1.1 跨度破坏 Span Corruption#T5 本身的整体架构仍然是原始 Transformer 的编码-解码架构。而这部分是模型的第一阶段训练它使用 C4 数据集一个包含数百亿个 token 的语料库进行无监督预训练。这里的关键词就是题目里的Span Corruption概括来说是这样的从输入序列中随机选取一些连续的 token 片段,替换为哨兵 token以预测这些哨兵 token 为目标训练整个模型的基础语言理解能力。这部分其实和我们之前讲的 Word2Vec 的逻辑是类似的只是前者训练的是词向量表而现在我们训练的是整个模型的所有相关参数。其实还有另外一个相关的概念是 BERT它的想法是遮住单个 token 后判别恢复而 T5 改为了遮住连续 token 生成恢复等涉及到相关内容我们再展开。拿一个英文句子举例Thank you for inviting me to your party last week假设我们抹掉两个 spanfor inviting →Xlast week →Y现在模型的输入和标签其实是这样的输入[替换 span 后的原句子] Thank you X me to your party Y 目标输出[哨兵 token 序号对应预测内容···结束符] X for inviting Y last week Z你会发现多了一个Z实际上这是在训练阶段我们手动添加的作为生成任务的结束符加入学习内容。这和我们之前的 语言模型中提到的EOS是一个道理。按这种方式使用海量数据进行训练后模型便拥有了基础的语言理解能力。但要注意我们要的不是一个“填空模型”这种做其实就是为了给模型的参数进行一个具备语言理解能力的初始化所以才被称为“预训练”。而下面这步才是实现“统一”的逻辑。1.2 任务前缀 task prefix#这部分其实是最好理解的部分但也是实现 NLP 任务统一的最大前提给所有使用的数据加一个任务前缀让 Transformer 架构按前缀生成对应类型的输出序列。就像这样任务传统做法T5 的做法翻译Encoder-Decoder 架构标准 Seq2Seq输入translate English to German: ...输出译文摘要专门的 Seq2Seq 模型输入summarize: ...输出摘要分类BERT 分类头输入cola sentence: ...输出acceptable/unacceptable相似度双塔 回归头输入stsb sentence1: ... sentence2: ...输出3.8问答专门的抽取式/生成式模型输入question: ... context: ...输出答案你会发现这种设计就是把任务类型放到了输入序列中通过大量数据让模型学习到相应的生成模式实现把所有任务塞进 Seq2Seq 框架的逻辑。这样我们不再需要为每个任务单独写一个输出头 → 损失函数的代码了整个训练流程只有一个入口一个出口使用统一的 Seq2Seq CrossEntropy 损失函数。但显然你也会发现相应的局限使用这样的数据格式训练就一定要使用这样的格式推理甚至真实应用。所以虽然可以通过预处理脚本完善相应的下游逻辑但这种格式仍然有些僵硬因此也指引了后续的改进方向。从今天的视角看Task Prefix 本质上已经是 Prompt Engineering 的早期雏形任务本身被编码成自然语言输入让模型通过上下文理解“现在应该做什么”。2. Pre-LN 与去掉 LayerNorm 的偏置#看完了 T5 的核心框架和预训练除去我们单独搁置的 RPE 逻辑外T5 还有一处较小的改进度点我们也简单展开一下2.1 Post-Norm 到 Pre-Norm 的回归#我们在 Transformer Block 那篇里中已经展开过 Post-Norm 和 Pre-Norm 了T5 同样采用了 Pre-Norm即 LayerNorm 放在残差之前(())这个选择并非 T5 首创但它结合了另一个改动2.2 去掉 LayerNorm 的偏置 β#我们知道标准的 LayerNorm 公式是⊙−其中 γ 是可学习的缩放参数β 是可学习的偏置参数。现在T5 把 β 砍掉了只剩下
双梁正问题 【 torch 实战】（Python代码实现）)
