Pytorch
TensorFlow

#
Questionário de fim de capítulo

###
1. Qual é a ordem do pipeline para a modelagem de linguagem?

Primeiro, o modelo trata de textos e devolve previsões em bruto. O tokenizer, então, trás sentido a estas previsões e as converte de volta ao texto quando necessário. Primeiro, o tokenizer trata de textos e devolve as identificações (IDs). O modelo lida com estas identificações e produz uma predição, que pode ser algum texto. O tokenizer trata de textos e devolve os IDs. O modelo lida com estes IDs e produz uma predição. O tokenizer pode então ser usado mais uma vez para converter estas previsões de volta para algum texto.

###
2. Quantas dimensões tem o tensor do Transformer de base, e quais são elas?

2: O comprimento da sequência e o tamanho do batch (lote) 2: O comprimento da sequência e o tamanho das camadas ocultas 3: O comprimento da sequência, o tamanho do batch (lote) e o tamanho das camadas ocultas

###
3. Qual dos seguintes é um exemplo de Tokenização por sub-palavras?

WordPiece Character-based tokenization Divisão no espaço em branco e pontuação BPE Unigram Nenhuma das acimas

###
4. O que é uma model head?

Um componente dos transformers de base que redireciona os tensores para suas camadas corretas Também conhecido como mecanismo de auto-atenção (*self-attention*), ele adapta a representação de um símbolo de acordo com os outros tokens da sequência Um componente adicional, geralmente composto de uma ou poucas camadas, para converter as previsões do Transformer em uma saída específica de tarefa

###
5. O que seria um `AutoModel`?

Um modelo que treina automaticamente com seus dados Um objeto que devolve a arquitetura correta com base em um checkpoint Um modelo que detecta automaticamente a linguagem utilizada para suas entradas a fim de carregar os pesos corretos

###
6. Quais são as técnicas a serem observadas quando realizar batches com sequências de diferentes tamanhos?

Truncar Retornar tensores Padding Attention masking

###
7. Qual é o objetivo de aplicar uma função SoftMax à saída de logits para um modelo de classificação sequencial??

Suaviza os logits para que sejam mais confiáveis. Aplica um limite inferior e um limite superior para que eles sejam compreensíveis. A soma total da saída é 1, resultando em uma possível interpretação probabilística.

###
8. Qual é o método core da API tokenizer?

`encode`, pois pode codificar texto em IDs e IDs em predições Chamando diretamente o objeto de tokenização (tokenizer). `padding` `tokenize`

###
9. O que a variável `result` contém nesta pedaço de código?

    from transformers import AutoTokenizer

    tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
    result = tokenizer.tokenize("Hello!")

Uma lista de strings, sendo cada uma delas um token Uma lista de IDs Uma string contendo todos os tokens

###
10. Tem algo errado com o código abaixo?

    from transformers import AutoTokenizer, AutoModel

    tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
    model = AutoModel.from_pretrained("gpt2")

    encoded = tokenizer("Hey!", return_tensors="pt")
    result = model(**encoded)

Não, parece correto. O tokenizer e o modelo devem ser sempre a partir do mesmo checkpoint. É uma boa prática realizar o padding e truncar com o tokenizer, pois cada entrada é um batch.