Pytorch
TensorFlow

#
End-of-chapter quiz

Let’s test what you learned in this chapter!

###
1.下列哪個任務可以被框定為令牌分類問題？

找出句子中的語法成分。 判斷一個句子的語法是否正確。 找出句子中提到的人物。 找到一個句子中能夠回答問題的詞組。

###
2.令牌分類預處理的哪一部分與其他預處理管道不同？

當我們在數據集上運行一個模型，並獲得該數據集中每個樣本的預測時。 在應用截斷/填充時，我們需要確保將標籤截斷或填充到與輸入相同的大小。 沒有必要做任何事情，課文已經被標記了。 因為互聯網上有大量的文本

###
3.當我們對標記分類問題中的單詞進行標記並希望標記時，會出現什麼問題？

標記器添加了特殊的標記，我們沒有為他們的標籤。 每個單詞可以產生幾個標記，所以我們最終得到的標記比標籤多。 因為目標是按順序排列的文本問題

###
4.“領域適應”是什麼意思？

因為模型的內部損耗輸出是默認使用的 當我們在數據集上訓練模型時。 當我們對一個新的數據集微調一個預先訓練好的模型時，它給出的預測更適合這個數據集 當我們將錯誤分類的樣本添加到數據集中，使得我們的模型更加健壯。

###
5.掩碼語言建模問題中的標籤是什麼？

輸入句子中的一些標記是隨機屏蔽的，標籤是原始輸入標記。 輸入句子中的一些標記是隨機屏蔽的，標籤是原始的輸入標記，向左移動。 輸入句子中的一些標記是隨機屏蔽的，標籤是這個句子是肯定的還是否定的。 兩個句子中的一些標記是隨機屏蔽的，標籤是兩個句子是否相似。

###
6.這些任務中的哪一個可以看作是一個順序到順序的問題？

撰寫長文檔的簡短評論 回答有關文件的問題 我們使用 &lt; code >-100 &lt;/code > 來標記特殊標記。 修正我侄子/朋友發來的信息，使它們用正確的英語

###
7.對於序列到序列的問題，預處理數據的正確方法是什麼？

輸入和目標必須一起發送到標記器，其中包括 &lt; code > input = ... &lt;/code > 和 &lt; code > target = ... &lt;/code > 。 輸入和目標都必須在對標記器的兩個獨立調用中進行預處理。 因為我們在訓練之後計算度量 輸入必須發送到標記器，目標也是如此，但需要使用特殊的上下文管理器。

###
8.為什麼序列到序列問題有一個特定的“培訓者”子類？

因為序列到序列問題使用自定義丟失，所以忽略設置為 &lt; code >-100 &lt;/code > 的標籤 當您擁有大量可用數據時，即使有一個經過預先訓練的模型可以處理這些數據 文本是作為單詞給出的，所以我們只需要應用子詞的標記。 因為我們在序列到序列問題中使用了兩個模型

###
10.你應該在什麼時候預先訓練一個新的模型？

當您的特定語言沒有經過預先訓練的模型時 當您有大量可用的數據時，即使有一個經過訓練的模型可以處理這些數據 當你擔心你所使用的預先訓練過的模型的偏差時 當可用的預先訓練好的模型還不夠好的時候

###
11.為什麼在大量的文本上預先訓練一個語言模型是很容易的呢？

當你擔心你所使用的預先訓練的模型的偏差時 因為預訓練目標不需要人工標記數據 因為變形金剛庫只需要幾行代碼就可以開始培訓

###
12.問答任務的預處理數據時，主要的挑戰是什麼？

你需要對輸入進行標記。 你需要處理非常長的上下文，這些上下文提供了一些訓練特性，這些特性可能有也可能沒有答案。 您需要將問題的答案以及輸入標記化。 從文本中的答案範圍中，您必須在標記化的輸入中找到開始和結束標記。

###
13.問題回答中的後處理通常是怎樣進行的？

模型給出了答案的開始位置和結束位置，您只需要解碼相應的標記跨度。 該模型為每個由一個示例創建的特性提供了答案的開始和結束位置，您只需要解碼分數最高的那個特性中相應的記號跨度。 該模型為每個示例創建的特性提供了答案的開始和結束位置，您只需將它們與上下文中得分最高的特性的跨度相匹配。 模型生成一個答案，你只需要解碼它。