CompuzillaComputação em palavras simples
← Todos os termos

Inteligência artificial

Modelo de linguagem

Modelo de linguagem é um modelo que representa regularidades de sequências de linguagem, frequentemente estimando probabilidades de tokens. Alguns modelos geram texto por escolhas sucessivas. Texto fluente não garante precisão factual nem demonstra compreensão humana.

Escrito pela equipe Compuzilla

Publicado em . Atualizado em .

Siglas: LLM

Também chamado de: language model, grande modelo de linguagem

Neste verbete
Compuzilla sorrindo ao lado de um diagrama: Modelo de linguagem.

Modelo de linguagem

  1. Contexto em tokens
  2. Modelo e parâmetros
  3. Continuação gerada
A geração produz uma sequência conforme o modelo; não certifica a veracidade do texto. Ilustração: equipe Compuzilla.

Regularidades em sequências

Uma família de modelos recebe uma sequência e estima continuações possíveis. Durante o treinamento, parâmetros são ajustados com exemplos e um objetivo. Durante o uso, o modelo transforma o contexto disponível em resultados.

O trabalho sobre GPT-3 é um exemplo documentado de modelo grande avaliado em várias tarefas a partir de texto. Não é uma definição de todas as arquiteturas ou de todos os produtos atuais.

Gerar não é consultar uma fonte automaticamente

Uma resposta pode refletir padrões aprendidos sem corresponder a um registro conferido. Sistemas podem acrescentar busca ou ferramentas, mas esses mecanismos são componentes adicionais e precisam de avaliação própria.

A forma de selecionar tokens também influencia o texto produzido. Uma sequência plausível pode conter contradições ou afirmações sem suporte. Avaliação deve considerar a tarefa, o contexto e os erros relevantes; tamanho do modelo não substitui verificação dos resultados.

Próxima leitura

Conheça token para entender as unidades usadas na representação das sequências.

Na prática

  • Um modelo pode estimar continuações para a sequência Hoje o céu está sem verificar uma observação meteorológica.

Continue aprendendo

  • Verbete Token em modelos de linguagem — Token, em modelos de linguagem, é uma unidade usada para representar uma sequência de entrada ou saída. Pode corresponder a uma palavra, parte dela ou outro elemento, conforme o tokenizador. Não há equivalência fixa entre quantidade de tokens e palavras.
  • Verbete Rede neural — Rede neural artificial é um modelo computacional composto por operações conectadas e parâmetros ajustáveis. Transforma entradas em saídas e pode aprender relações a partir de dados. A inspiração no cérebro não torna o modelo uma reprodução completa do funcionamento humano.
  • Verbete Aprendizado de máquina — Aprendizado de máquina é uma abordagem em que dados são usados para ajustar um modelo que realiza uma tarefa, como prever valores ou classificar exemplos. O objetivo é funcionar também com casos que não foram usados no ajuste.
  • Guia Treinamento e inferência em IA: o que acontece em cada fase? — Treinamento ajusta um modelo segundo dados e objetivos. Inferência usa um modelo para produzir resultados a partir de entradas. Em modelos de linguagem, o contexto de uma conversa pode afetar a saída sem significar novo ajuste permanente dos parâmetros.

Fontes para aprofundar