Tecnologia & IA
O que é Tokens (Unidades de Texto da LLM)?
Tokens são as unidades em que LLMs processam texto — palavras curtas viram 1 token, palavras longas viram vários. Cobrança e limites de contexto são em tokens.
Regra prática em inglês: ~4 caracteres = 1 token, ou ~0,75 palavras = 1 token. Em português, palavras viram mais tokens (acentos, sufixos). 1.000 palavras em PT ≈ 1.500 tokens.
Importam pra 2 coisas: custo (cobra por milhão de tokens de input e output) e contexto (modelo trunca depois do limite). Otimizar prompt = remover redundância = pagar menos.
Perguntas frequentes
Como calcular tokens antes de enviar?
OpenAI tem tiktoken (lib JS/Python). Anthropic e Google têm contadores próprios. 1 caractere ≠ 1 token.
Por que cobra input + output separados?
Output exige mais processamento (geração) que input (leitura). Output costuma custar 3-5× mais por token.