Pytorch
TensorFlow

#
章末小测验

Let’s test what you learned in this chapter!

###
1.下列哪个任务可以被框定为令牌分类问题？

找出句子中的语法成分。 判断一个句子的语法是否正确。 找出句子中提到的人物。 找到一个句子中能够回答问题的词组。

###
2.令牌分类预处理的哪一部分与其他预处理管道不同？

当我们在数据集上运行一个模型，并获得该数据集中每个样本的预测时。 在应用截断/填充时，我们需要确保将标签截断或填充到与输入相同的大小。 没有必要做任何事情，课文已经被标记了。 因为互联网上有大量的文本

###
3.当我们对标记分类问题中的单词进行标记并希望标记时，会出现什么问题？

标记器添加了特殊的标记，我们没有为他们的标签。 每个单词可以产生几个标记，所以我们最终得到的标记比标签多。 因为目标是按顺序排列的文本问题

###
4.“领域适应”是什么意思？

因为模型的内部损耗输出是默认使用的 当我们在数据集上训练模型时。 当我们对一个新的数据集微调一个预先训练好的模型时，它给出的预测更适合这个数据集 当我们将错误分类的样本添加到数据集中，使得我们的模型更加健壮。

###
5.掩码语言建模问题中的标签是什么？

输入句子中的一些标记是随机屏蔽的，标签是原始输入标记。 输入句子中的一些标记是随机屏蔽的，标签是原始的输入标记，向左移动。 输入句子中的一些标记是随机屏蔽的，标签是这个句子是肯定的还是否定的。 两个句子中的一些标记是随机屏蔽的，标签是两个句子是否相似。

###
6.这些任务中的哪一个可以看作是一个顺序到顺序的问题？

撰写长文档的简短评论 回答有关文件的问题 我们使用 &lt; code >-100 &lt;/code > 来标记特殊标记。 修正我侄子/朋友发来的信息，使它们用正确的英语

###
7.对于序列到序列的问题，预处理数据的正确方法是什么？

输入和目标必须一起发送到标记器，其中包括 &lt; code > input = ... &lt;/code > 和 &lt; code > target = ... &lt;/code > 。 输入和目标都必须在对标记器的两个独立调用中进行预处理。 因为我们在训练之后计算度量 输入必须发送到标记器，目标也是如此，但需要使用特殊的上下文管理器。

###
8.为什么序列到序列问题有一个特定的“培训者”子类？

因为序列到序列问题使用自定义丢失，所以忽略设置为 &lt; code >-100 &lt;/code > 的标签 当您拥有大量可用数据时，即使有一个经过预先训练的模型可以处理这些数据 文本是作为单词给出的，所以我们只需要应用子词的标记。 因为我们在序列到序列问题中使用了两个模型

###
10.你应该在什么时候预先训练一个新的模型？

当您的特定语言没有经过预先训练的模型时 当您有大量可用的数据时，即使有一个经过训练的模型可以处理这些数据 当你担心你所使用的预先训练过的模型的偏差时 当可用的预先训练好的模型还不够好的时候

###
11.为什么在大量的文本上预先训练一个语言模型是很容易的呢？

当你担心你所使用的预先训练的模型的偏差时 因为预训练目标不需要人工标记数据 因为变形金刚库只需要几行代码就可以开始培训

###
12.问答任务的预处理数据时，主要的挑战是什么？

你需要对输入进行标记。 你需要处理非常长的上下文，这些上下文提供了一些训练特性，这些特性可能有也可能没有答案。 您需要将问题的答案以及输入标记化。 从文本中的答案范围中，您必须在标记化的输入中找到开始和结束标记。

###
13.问题回答中的后处理通常是怎样进行的？

模型给出了答案的开始位置和结束位置，您只需要解码相应的标记跨度。 该模型为每个由一个示例创建的特性提供了答案的开始和结束位置，您只需要解码分数最高的那个特性中相应的记号跨度。 该模型为每个示例创建的特性提供了答案的开始和结束位置，您只需将它们与上下文中得分最高的特性的跨度相匹配。 模型生成一个答案，你只需要解码它。