Dicionário de IA · Fundamentos
Token
O modelo não lê letras nem palavras inteiras: ele quebra o texto em pedaços chamados tokens. Em inglês, um token tem em média uns quatro caracteres. Em português, o mesmo texto costuma virar um pouco mais de tokens.
Onde isso aparece
- Preço: APIs cobram por milhão de tokens, separando entrada (o que você manda) e saída (o que o modelo gera). Saída costuma custar mais.
- Limite: a janela de contexto é medida em tokens.
- Velocidade: a geração é medida em tokens por segundo.