Pytorch
TensorFlow

#
Đố vui cuối chương

Kiểm tra những gì bạn đã học trong chương này!

### 1. Tập dữ liệu `emotion` chứa các tin nhắn Twitter được gắn nhãn cảm xúc. Tìm kiếm nó trong Hub và đọc thẻ tập dữ liệu. Cảm xúc nào trong số này không phải là một trong những cảm xúc cơ bản của nó?

Joy (Vui vẻ) Love (Yêu thích) Confusion (Bối rối) Surprise (Ngạc nhiên)

###
2. Tìm kiếm tập dữ liệu `ar_sarcasm` trong Hub. Nó hỗ trợ tác vụ nào?

Phân loại cảm xúc Dịch máy Nhận dạng thực thể Hỏi đáp

###
3. Mô hình BERT mong đợi một cặp câu được xử lý như thế nào?

Tokens_of_sentence_1 [SEP] Tokens_of_sentence_2 [CLS] Tokens_of_sentence_1 Tokens_of_sentence_2 [CLS] Tokens_of_sentence_1 [SEP] Tokens_of_sentence_2 [SEP] [CLS] Tokens_of_sentence_1 [SEP] Tokens_of_sentence_2

###
4. Lợi ích của phương thức `Dataset.map()` là gì?

Kết quả của hàm được lưu vào bộ nhớ đệm, vì vậy sẽ không mất thời gian nếu chúng tôi thực thi lại mã. Nó có thể áp dụng xử lý đa luồng để thực thi nhanh hơn so với việc áp dụng hàm trên từng phần tử của tập dữ liệu. Nó không tải toàn bộ tập dữ liệu vào bộ nhớ, lưu kết quả ngay sau khi một phần tử được xử lý.

###
5. Đệm động nghĩa là sao?

Đó là khi bạn đệm các đầu vào cho mỗi lô đến độ dài tối đa trong toàn bộ tập dữ liệu. Đó là khi bạn đệm đầu vào của mình khi tạo lô, đến độ dài tối đa của các câu bên trong lô đó. Đó là khi bạn đệm đầu vào của mình để mỗi câu có cùng số lượng token như câu trước trong tập dữ liệu.

###
6. Mục đích của hàm đối chiếu là gì?

Nó đảm bảo tất cả các chuỗi trong tập dữ liệu có cùng độ dài. Nó tập hợp tất cả các mẫu lại trong một lô. Nó tiền xử lý toàn bộ tập dữ liệu. Nó cắt bớt các chuỗi trong tập dữ liệu.

###
7. Điều gì xảy ra khi bạn khởi tạo một trong các lớp `AutoModelForXxx` với một mô hình ngôn ngữ huấn luyện trước( ví dụ như `bert-base-uncased`) mà liên quan tới một tác vụ khác hơn là tác vụ mà nó được huấn luyện sẵn?

Nothing, but you get a warning. Phần đầu của mô hình được huấn luyện trước bị loại bỏ và phần đầu mới phù hợp với tác vụ sẽ được chèn vào thay thế. Phần đầu của mô hình được huấn luyện trước bị loại bỏ. Không có gì, vì mô hình vẫn có thể được tinh chỉnh cho các tác vụ khác.

###
8. Mục đích của `TrainingArguments` là gì?

Nó chứa tất cả các siêu tham số được sử dụng để huấn luyện và đánh giá với `Trainer`. Nó chỉ định kích thước của mô hình. Nó chỉ chứa các siêu tham số được sử dụng để đánh giá. Nó chỉ chứa các siêu tham số được sử dụng để huấn luyện.

###
9. Vì sao bạn nên sử dụng thư viện 🤗 Accelerate?

Nó cung cấp quyền truy cập vào các mô hình nhanh hơn. INó cung cấp một API cấp cao nên tôi không phải triển khai vòng lặp huấn luyệncủa riêng mình. Nó làm cho các vòng huấn luyện hoạt động dựa trên các chiến lược phân tán Nó cung cấp nhiều hàm tối ưu hơn.