Pytorch
TensorFlow

#
Đố vui cuối chương

###
1. Thứ tự của một quy trình mô hình hóa ngôn ngữ là gì?

Đầu tiên, mô hình xử lý văn bản và trả về các dự đoán thô. Sau đó, tokenizer hiểu các dự đoán này và chuyển đổi chúng trở lại thành văn bản khi cần. Đầu tiên, tokenizer xử lý văn bản và trả về các ID. Mô hình xử lý các ID này và xuất ra một dự đoán, có thể là một số văn bản. Tokenizer xử lý văn bản và trả về các ID. Mô hình xử lý các ID này và đưa ra dự đoán. Sau đó, tokenizer có thể được sử dụng một lần nữa để chuyển đổi các dự đoán này trở lại một số văn bản.

###
2. Đầu ra tensor của mô hình Transformer cơ sở có bao nhiêu chiều, và chúng là gì?

2: Độ dài chuỗi và kích thước lô 2: Độ dài chuỗi và độ dài lớp ẩn 3: Độ dài chuỗi, kích thước lô, và độ dài lớp ẩn

###
3. Trường hợp nào dưới đây không phải là ví dụ về tokenize theo từ phụ?

WordPiece Tokenize theo kí tự Chia theo dấu cách và các dấu câu BPE Unigram Không phải các trường hợp trên

###
4. Model head (Đầu mô hình) là gì?

Một thành phần của Transformer cơ sở chuyển hướng các tensor đến các lớp chính xác của chúng Còn được gọi là cơ chế self-attention haytự chú ý, nó điều chỉnh cách đại diện của một token theo các token khác của chuỗi Một thành phần bổ sung, thường được tạo thành từ một hoặc một vài lớp, để chuyển đổi các dự đoán transformer thành đầu ra theo tác vụ cụ thể

###
5. AutoModel là gì?

Một mô hình tự động huấn luyện trên dữ liệu của bạn Một đối tượng trả về kiến trúc chính xác dựa trên checkpoint Một mô hình tự động phát hiện ngôn ngữ được sử dụng cho đầu vào của nó để tải các trọng số chính xác

###
6. Các kỹ thuật cần lưu ý khi ghép các chuỗi có độ dài khác nhau với nhau là gì?

Cắt bớt Trả về tensor Đệm thêm Attention masking

###
7. Mục đích của việc áp dụng hàm SoftMax vào đầu ra logit của mô hình phân loại là gì?

Nó làm mềm logit để chúng đáng tin cậy hơn. Nó áp dụng giới hạn dưới và trên để chúng trở nên dễ hiểu. Tổng của kết quả đầu ra khi đó là 1, dẫn đến việc giải thích theo xác suất có thể xảy ra.

###
8. Phần lớn API tokenizer tập trung vào phương pháp nào?

`encode`, vì nó có thể mã hóa văn bản thành ID và ID thành dự đoán Gọi trực tiếp đối tượng tokenizer. `Đệm thêm` `tokenize`

###
9. Biến `result` chứa gì trong đoạn mã dưới đây?

    from transformers import AutoTokenizer

    tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
    result = tokenizer.tokenize("Hello!")

Danh sách các chuỗi, mỗi chuỗi là một token Danh sách các ID Một chuỗi chứa tất cả các token

###
10. Có điều gì đó sai với đoạn mã sau đây?

    from transformers import AutoTokenizer, AutoModel

    tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
    model = AutoModel.from_pretrained("gpt2")

    encoded = tokenizer("Hey!", return_tensors="pt")
    result = model(**encoded)

Không, có vẻ đúng. Tokenizer và mô hình phải luôn ở cùng một checkpoint. Đây là một ví dụ thực tiễn về đệm thêm và cắt bớt với tokenizer khi tát cả đầu vào trong cùng một lô.