O que é um token e o que significa tokens por segundo?
Como o modelo divide o texto, ler o seu prompt versus escrever a resposta, e como são as velocidades medidas na prática.
Resposta curta
Um token é um pedaço de texto, em geral uma palavra ou parte dela. Tokens por segundo é a rapidez com que o modelo os escreve.
- Exemplo: A frase de 9 palavras abaixo tem 16 tokens.
- Leitura: Lemos cerca de 5 tokens por segundo.
- Medido: Um Mac mini M4 escreve 24,1 tokens/s com um modelo 7B, mais rápido que a leitura.
Resultado publicado do llama.cpp (llama.cpp Apple Silicon summary · community result, lido em 25 de out. de 2026)
A ideia
Pense num tipógrafo com uma caixa de peças prontas: palavras comuns inteiras, pedaços de palavras longas, pontuação. Para imprimir uma frase ele pega uma peça por vez. Um modelo de linguagem funciona do mesmo jeito. O tokenizador dele tem uma caixa fixa de peças, os tokens, e o modelo lê e escreve texto só como uma fila delas, uma peça por vez.
Por isso a velocidade é contada em tokens, não em palavras: tokens por segundo (tok/s) é quantas peças o modelo acrescenta à resposta a cada segundo.
Uma frase em tokens
- Modelid 1747
- osid 437
- espaço, locid 1353
- aisid 2852
- espaço, escreid 98045
- vemid 117678
- espaço, umid 4543
- espaço, tokenid 4037
- espaço, porid 4247
- espaço, vezid 21205
- ,id 11
- espaço, incrid 67926
- ivelid 21169
- menteid 12826
- espaço, rápidoid 98420
- .id 13
Palavras curtas e comuns são um token cada, e a vírgula também. As palavras longas se dividem em pedaços. A mesma ideia em inglês, “Local models write one token at a time, unbelievably fast.”, tem 13 tokens para 10 palavras: este tokenizador aprendeu mais palavras inteiras em inglês do que em português, então a conta por palavra depende da língua. Aqui: 1,3 token por palavra em inglês e 1,8 por palavra em português.
Os tokens também definem quanto o modelo consegue manter em mente de uma vez: o tamanho do contexto é contado em tokens, e cada token da conversa ocupa memória (tamanho do contexto e cache KV).
Ler vs escrever
Toda resposta tem duas velocidades. A ferramenta de benchmark do llama.cpp dá nome a elas: processamento do prompt (pp), “processar um prompt em lotes”, e geração de texto (tg), “gerar uma sequência de tokens” (llama.cpp · llama-bench, lido em 25 de out. de 2026).
- 1 · Ler o seu prompt (pp)
- Todos os tokens de uma vez, em lotesDefine a espera antes da primeira palavra. Cresce com o tamanho do que você cola; limitado sobretudo pelo poder de cálculo do chip.
- 2 · Escrever a resposta (tg)
- Um token depois do outroA velocidade que você vê enquanto o texto aparece. Cada token depende do anterior, então não roda em paralelo; limitado sobretudo pela velocidade da memória.
Tempo de espera ≈ tokens do prompt ÷ velocidade do prompt; depois, tempo de escrita ≈ tokens da resposta ÷ velocidade de escrita. Ler um prompt é muitas vezes mais rápido por token que escrever, porque os tokens são processados juntos. Os benchmarks que este site cita publicam as duas: o llama-bench como pp512 e tg128, e a tabela do mlx-lm como as colunas “Prompt (2048)” e “Generation (128)” (mlx-lm · BENCHMARKS.md, lido em 25 de out. de 2026). Por enquanto este site guarda só a velocidade de escrita, então todo número de tokens/s nele, aqui e nas páginas de modelo e de hardware, é velocidade de escrita.
Como é tokens por segundo na prática
Adultos leem inglês em silêncio a cerca de 238 palavras por minuto (não ficção, média de 190 estudos) (Brysbaert, 2019 · reading rate, lido em 25 de out. de 2026). Com 1,3 token por palavra em inglês, da frase acima, isso dá cerca de 5 tokens por segundo: uma linha aproximada, não uma medição. Um modelo que escreve acima dela é mais rápido que a sua leitura; bem abaixo dela parece espera.
O mesmo arquivo 7B, medido em sete máquinas
Velocidade de escrita em tokens/s; a linha é o ritmo de leitura (cerca de 5 tokens/s)
Resultados publicados do llama.cpp, lidos em 25 de out. de 2026: llama.cpp Apple Silicon summary · community result · llama.cpp CUDA scoreboard · community result
| Máquina | Escrita · tokens/s (medido) | Resposta de 500 palavras (s, calculado) | Backend | Build |
|---|---|---|---|---|
| Mac mini M1 16GB | 14.15 | 63 | Metal | 8e672ef |
| Mac mini M4 16GB | 24.11 | 37 | Metal | 8e672ef |
| MacBook Air 15-inch M5 16GB | 31.88 | 28 | Metal | c1d0e7a |
| RTX 4060 Ti 8 GB | 64.03 ± 0.53 | 14 | CUDA | 89d10295 |
| Mac mini M5 Pro 24GB | 67.59 | 13 | Metal | 60081bb |
| Mac Studio M5 Max 128GB | 119.92 | 7 | Metal | c1d0e7a |
| RTX 4090 24 GB | 188.96 ± 0.05 | 5 | CUDA | 2241453 |
Uma resposta de 500 palavras tem cerca de 889 tokens. Nas velocidades medidas, leva uns 63 segundos no Mac mini M1 · 16 GB unificados e 5 no RTX 4090 · 24 GB de VRAM. Cada linha é uma execução publicada do llama-bench com um arquivo, com o build na tabela; os Macs mais antigos da tabela da Apple rodaram num build antigo para ficarem comparáveis entre si, então aparecem abaixo do que um build atual alcançaria. A página de cada máquina lista as execuções medidas.
Por que a velocidade da memória importa
Para escrever cada token, o computador lê da memória todos os pesos do modelo uma vez. A conta é rápida; o que demora é mover o arquivo. Então um arquivo menor escreve mais rápido na mesma máquina. Os mantenedores do mlx-lm mediram um modelo, o Qwen3 4B, com vários números de bits num Apple M4 Max · 64 GB (GPU cores not stated) (mlx 0.29.2.dev20251008+85a8824a8 · mlx-lm 0.28.2 · macOS 26.1): 134,5 tokens/s em MLX q4 e 52,5 em MLX bf16 (mlx-lm BENCHMARKS.md · maintainer result, lido em 25 de out. de 2026).
| Arquivo | Escrita · tokens/s (medido) |
|---|---|
| MLX q4 | 134.52 |
| MLX q5 | 116.39 |
| MLX q6 | 104.68 |
| MLX q8 | 86.907 |
| MLX bf16 | 52.47 |
Entre máquinas, a que tem mais banda de memória (GB/s) escreve mais rápido, seja Mac ou placa de vídeo. Quanto cada máquina chega perto da própria banda, numa tabela: velocidade de LLM e banda de memória. Qual formato de arquivo escolher no Mac: GGUF ou MLX.
Perguntas
Um token é a mesma coisa que uma palavra?
Muitas vezes, não sempre. Palavras curtas e comuns são um token; palavras longas ou raras se dividem em dois ou três. No exemplo acima, “incrivelmente” vira três tokens. Texto em português dividido por este tokenizador gasta mais tokens por palavra (1,8 contra 1,3 em inglês), porque o vocabulário dele tem menos palavras inteiras em português.
Todos os modelos usam os mesmos tokens?
Não. Cada família de modelos traz o próprio tokenizador e vocabulário; este tem 128.256 entradas. A mesma frase pode ter alguns tokens a mais ou a menos em outro modelo, então compare velocidades só do mesmo modelo.
Por que a resposta demora a começar com um documento longo?
Porque o prompt inteiro é lido antes da primeira palavra aparecer. Ler é bem mais rápido por token que escrever, mas um documento longo tem milhares de tokens, então a espera cresce com o tamanho dele.
Este site estima tokens por segundo para o meu computador?
Não. Uma velocidade só aparece onde uma fonte mediu aquela máquina, com o modelo, o arquivo, o programa e o build usados. As páginas de modelo e de hardware mostram essas linhas em Velocidade medida.