#
章末小測驗

讓我們測試一下您在本章中學到了什麼！

###
1.你應該什麼時候訓練一個新的標記器？

當您的數據集與現有的預訓練模型所使用的數據集相似時，並且您希望預訓練一個新模型 當您的數據集與現有的預訓練模型所使用的數據集相似時，並且您希望使用此預訓練模型對新模型進行微調 當您的數據集與現有預訓練模型所使用的數據集不同時，您希望預訓練一個新模型 當您的數據集與現有預訓練模型所使用的數據集不同時，但是您希望使用此預訓練模型對新模型進行微調

###
2.當使用“ train_new_from_iterator()”時，使用文本列表生成器與文本列表相比有什麼優點？

這是方法 < code > train_new_from_iterator() 接受的唯一類型。 您將避免立即將整個數據集載入內存中。 這將允許 Tokenizers 庫使用並行處理。 你訓練的標記器將產生更好的文本。

###
3.使用“快速”標記器的優點是什麼？

當你批處理大量的輸入時，它可以比一個滿速的標記器更快地處理輸入。 快速的標記法總是比慢速的標記法快。 它可以填充和截斷文本。 它有一些額外的功能，允許你將標記映射到創建它們的文本範圍。

###
4.“token-classification”管道如何處理跨多個標記的實體？

具有相同標籤的實體合併為一個實體。 實體的開始有一個標籤，實體的持續有一個標籤。 在給定的單詞中，只要第一個標記具有實體的標籤，則認為整個單詞都帶有該實體的標籤。 當一個標記具有給定實體的標記時，除非標記為新實體的開始，否則具有相同標記的任何其他後續標記都被視為同一實體的一部分。

###
5.“question-answering”流水線如何處理長上下文？

實際上並不是這樣，因為它在模型接受的最大長度上截斷了長上下文。 它將上下文分成若干部分，並對所得結果進行平均。 它將上下文拆分為若干部分(有重疊部分) ，並在每個部分中查找一個答案的最大得分。 它將上下文分成若干部分(不重疊，以提高效率) ，並在每個部分中找到一個答案的最大得分。

###
6.什麼是標準化？

這是 tokenizer 在初始階段對文本執行的任何清理。 這是一種數據增強技術，包括通過刪除稀有單詞使文本更加標準。 在最後的後處理步驟中，tokenizer 添加特殊標記。 這是當嵌入的平均值為0和標準差為1時，通過減去平均值和除以標準差。

###
7.什麼是子詞標記化的前標記化？

這是標記化之前的步驟，應用數據增強(如隨機遮罩)。 這是標記化之前的步驟，在這個步驟中，所需的清理操作應用於文本。 這是應用 tokenizer 模型之前的步驟，將輸入拆分為單詞。 這是應用 tokenizer 模型之前的步驟，將輸入拆分為標記。

###
8.選擇描述標記化 BPE 模式最準確的句子。

BPE 是一個子詞標記算法，從小詞彙表開始，學習合併規則。 BPE 是一種子詞標記算法，從大詞彙表開始，逐步從中刪除標記。 BPE 標記器通過合併最常見的一對標記來學習合併規則。 BPE 記號賦予器通過合併一對記號來學習合併規則，該記號最大化了特權頻繁對和較少個別部分的分數。 BPE 通過將單詞分割成字符，然後應用合併規則將單詞分解成子單詞。 BPE 通過從詞彙表的開頭找到最長的子詞，然後在文本的其餘部分重複這個過程，將單詞轉化為子詞。

###
9.選擇適用於 WordPiece 標記模型的句子。

WordPiece 是一個子詞標記算法，它從一個小詞彙表開始，學習合併規則。 WordPiece 是一種子詞標記算法，從大詞彙表開始，逐步從中刪除標記。 WordPiece 標記器通過合併最常見的兩個標記來學習合併規則。 WordPiece 標記器通過合併兩個標記來學習合併規則，這兩個標記最大限度地提高了頻繁出現的標記的分數，而這兩個標記的獨立部分出現頻率較低。 根據模型，WordPiece 通過找到最有可能的切分符號，將單詞標記為子單詞。 WordPiece 通過從詞彙表的開頭找到最長的子詞，然後在文本的其餘部分重複這個過程，將單詞轉化為子詞。

###
10.選擇適用於 Unigram 標記模式的句子。

Unigram 是一個子詞標記算法，它從一個很小的詞彙表開始學習合併規則。 Unigram 是一種子詞標記算法，它從大詞彙表開始，逐步從中刪除標記。 Unigram 通過最小化在整個語料庫中的損失來調整詞彙量。 Unigram 通過保留最頻繁的子詞來調整它的詞彙量。 根據模型，Unigram 通過找到最可能的分割符號來將詞轉化為子詞。 Unigram 通過將單詞分割成字符，然後應用合併規則將其分解成子單詞。
Update on GitHub