CompuzillaComputação em palavras simples
← Todos os termos

Inteligência artificial

Token em modelos de linguagem

Token, em modelos de linguagem, é uma unidade usada para representar uma sequência de entrada ou saída. Pode corresponder a uma palavra, parte dela ou outro elemento, conforme o tokenizador. Não há equivalência fixa entre quantidade de tokens e palavras.

Escrito pela equipe Compuzilla

Publicado em . Atualizado em .

Também chamado de: tokenização, subpalavra

Neste verbete
Compuzilla sorrindo ao lado de um diagrama: Token em modelos de linguagem.

Token em modelos de linguagem

  1. Texto
  2. Regras do tokenizador
  3. Identificadores de tokens
A divisão varia com o tokenizador; o desenho não impõe uma separação universal. Ilustração: equipe Compuzilla.

Transformar texto em unidades

Um tokenizador aplica regras para dividir ou representar o texto e associar unidades a identificadores. O modelo trabalha com essas representações. Técnicas de subpalavras ajudam a lidar com palavras raras por combinações de partes.

O trabalho de Sennrich, Haddow e Birch documenta esse uso em tradução automática. Ele fornece um exemplo de técnica, sem fixar a divisão de todo modelo atual.

A divisão depende do sistema

A mesma palavra pode ter divisões diferentes conforme o vocabulário e as regras usadas. Espaços, acentos e sinais também podem participar. Estimar tokens contando palavras só oferece uma aproximação em condições específicas.

Caractere, byte e token descrevem níveis diferentes. Limites de contexto e geração expressos em tokens dependem do sistema e de sua implementação. Não é seguro transferir um número de um produto para outro sem conferir a documentação correspondente.

Próxima leitura

Leia modelo de linguagem para situar essas unidades na geração de uma sequência.

Na prática

  • Um tokenizador de subpalavras pode representar uma palavra rara por mais de uma unidade.

Continue aprendendo

  • Verbete Modelo de linguagem — Modelo de linguagem é um modelo que representa regularidades de sequências de linguagem, frequentemente estimando probabilidades de tokens. Alguns modelos geram texto por escolhas sucessivas. Texto fluente não garante precisão factual nem demonstra compreensão humana.
  • Verbete Unicode — Unicode é um padrão para representar caracteres de muitos sistemas de escrita por códigos e regras comuns. Codificações como UTF-8 transformam esses códigos em bytes. Caractere, código, byte e desenho exibido na tela são conceitos relacionados, mas distintos.
  • Verbete Rede neural — Rede neural artificial é um modelo computacional composto por operações conectadas e parâmetros ajustáveis. Transforma entradas em saídas e pode aprender relações a partir de dados. A inspiração no cérebro não torna o modelo uma reprodução completa do funcionamento humano.

Fontes para aprofundar