Dicionário de IA · Fundamentos

Token

O modelo não lê letras nem palavras inteiras: ele quebra o texto em pedaços chamados tokens. Em inglês, um token tem em média uns quatro caracteres. Em português, o mesmo texto costuma virar um pouco mais de tokens.

Onde isso aparece

  • Preço: APIs cobram por milhão de tokens, separando entrada (o que você manda) e saída (o que o modelo gera). Saída costuma custar mais.
  • Limite: a janela de contexto é medida em tokens.
  • Velocidade: a geração é medida em tokens por segundo.

Atualizado em · · Todos os conceitos