Pular para o conteúdo
Local AI Wizard
Sua máquina
Tema

O que é um token e o que significa tokens por segundo?

Como o modelo divide o texto, ler o seu prompt versus escrever a resposta, e como são as velocidades medidas na prática.

Velocidade · atualizado em

Resposta curta

Um token é um pedaço de texto, em geral uma palavra ou parte dela. Tokens por segundo é a rapidez com que o modelo os escreve.

  • Exemplo: A frase de 9 palavras abaixo tem 16 tokens.
  • Leitura: Lemos cerca de 5 tokens por segundo.
  • Medido: Um Mac mini M4 escreve 24,1 tokens/s com um modelo 7B, mais rápido que a leitura.

Resultado publicado do llama.cpp (llama.cpp Apple Silicon summary · community result, lido em 25 de out. de 2026)

A ideia

Pense num tipógrafo com uma caixa de peças prontas: palavras comuns inteiras, pedaços de palavras longas, pontuação. Para imprimir uma frase ele pega uma peça por vez. Um modelo de linguagem funciona do mesmo jeito. O tokenizador dele tem uma caixa fixa de peças, os tokens, e o modelo lê e escreve texto só como uma fila delas, uma peça por vez.

Por isso a velocidade é contada em tokens, não em palavras: tokens por segundo (tok/s) é quantas peças o modelo acrescenta à resposta a cada segundo.

Uma frase em tokens

  1. Modelid 1747
  2. osid 437
  3. espaço, locid 1353
  4. aisid 2852
  5. espaço, escreid 98045
  6. vemid 117678
  7. espaço, umid 4543
  8. espaço, tokenid 4037
  9. espaço, porid 4247
  10. espaço, vezid 21205
  11. ,id 11
  12. espaço, incrid 67926
  13. ivelid 21169
  14. menteid 12826
  15. espaço, rápidoid 98420
  16. .id 13
9 palavras, 16 tokens. Cada peça é um token com o número dele no vocabulário; o ponto marca o espaço que pertence ao token. Dividido pelo tokenizador do Llama 3 (128.256 tokens, usado pelo Llama 3.1 8B) com (llama3-tokenizer-js 1.2.0, lido em 25 de out. de 2026)

Palavras curtas e comuns são um token cada, e a vírgula também. As palavras longas se dividem em pedaços. A mesma ideia em inglês, “Local models write one token at a time, unbelievably fast.”, tem 13 tokens para 10 palavras: este tokenizador aprendeu mais palavras inteiras em inglês do que em português, então a conta por palavra depende da língua. Aqui: 1,3 token por palavra em inglês e 1,8 por palavra em português.

Os tokens também definem quanto o modelo consegue manter em mente de uma vez: o tamanho do contexto é contado em tokens, e cada token da conversa ocupa memória (tamanho do contexto e cache KV).

Ler vs escrever

Toda resposta tem duas velocidades. A ferramenta de benchmark do llama.cpp dá nome a elas: processamento do prompt (pp), “processar um prompt em lotes”, e geração de texto (tg), “gerar uma sequência de tokens” (llama.cpp · llama-bench, lido em 25 de out. de 2026).

1 · Ler o seu prompt (pp)
Todos os tokens de uma vez, em lotesDefine a espera antes da primeira palavra. Cresce com o tamanho do que você cola; limitado sobretudo pelo poder de cálculo do chip.
2 · Escrever a resposta (tg)
Um token depois do outroA velocidade que você vê enquanto o texto aparece. Cada token depende do anterior, então não roda em paralelo; limitado sobretudo pela velocidade da memória.

Tempo de espera ≈ tokens do prompt ÷ velocidade do prompt; depois, tempo de escrita ≈ tokens da resposta ÷ velocidade de escrita. Ler um prompt é muitas vezes mais rápido por token que escrever, porque os tokens são processados juntos. Os benchmarks que este site cita publicam as duas: o llama-bench como pp512 e tg128, e a tabela do mlx-lm como as colunas “Prompt (2048)” e “Generation (128)” (mlx-lm · BENCHMARKS.md, lido em 25 de out. de 2026). Por enquanto este site guarda só a velocidade de escrita, então todo número de tokens/s nele, aqui e nas páginas de modelo e de hardware, é velocidade de escrita.

Como é tokens por segundo na prática

Adultos leem inglês em silêncio a cerca de 238 palavras por minuto (não ficção, média de 190 estudos) (Brysbaert, 2019 · reading rate, lido em 25 de out. de 2026). Com 1,3 token por palavra em inglês, da frase acima, isso dá cerca de 5 tokens por segundo: uma linha aproximada, não uma medição. Um modelo que escreve acima dela é mais rápido que a sua leitura; bem abaixo dela parece espera.

O mesmo arquivo 7B, medido em sete máquinas

Velocidade de escrita em tokens/s; a linha é o ritmo de leitura (cerca de 5 tokens/s)

Mac mini M1 16GB14,2 tokens/s
Mac mini M4 16GB24,1 tokens/s
RTX 4060 Ti 8 GB64 tokens/s
RTX 4090 24 GB189 tokens/s

Resultados publicados do llama.cpp, lidos em 25 de out. de 2026: llama.cpp Apple Silicon summary · community result · llama.cpp CUDA scoreboard · community result

Velocidade de escrita (llama.cpp tg128, lote 1) do mesmo arquivo Llama 7B Q4_0, como publicada; a coluna de tempo é calculada: 500 palavras ≈ 889 tokens com o tokenizador acima, divididos pela velocidade medida.
MáquinaEscrita · tokens/s (medido)Resposta de 500 palavras (s, calculado)BackendBuild
Mac mini M1 16GB14.1563Metal8e672ef
Mac mini M4 16GB24.1137Metal8e672ef
MacBook Air 15-inch M5 16GB31.8828Metalc1d0e7a
RTX 4060 Ti 8 GB64.03 ± 0.5314CUDA89d10295
Mac mini M5 Pro 24GB67.5913Metal60081bb
Mac Studio M5 Max 128GB119.927Metalc1d0e7a
RTX 4090 24 GB188.96 ± 0.055CUDA2241453

Uma resposta de 500 palavras tem cerca de 889 tokens. Nas velocidades medidas, leva uns 63 segundos no Mac mini M1 · 16 GB unificados e 5 no RTX 4090 · 24 GB de VRAM. Cada linha é uma execução publicada do llama-bench com um arquivo, com o build na tabela; os Macs mais antigos da tabela da Apple rodaram num build antigo para ficarem comparáveis entre si, então aparecem abaixo do que um build atual alcançaria. A página de cada máquina lista as execuções medidas.

Por que a velocidade da memória importa

Para escrever cada token, o computador lê da memória todos os pesos do modelo uma vez. A conta é rápida; o que demora é mover o arquivo. Então um arquivo menor escreve mais rápido na mesma máquina. Os mantenedores do mlx-lm mediram um modelo, o Qwen3 4B, com vários números de bits num Apple M4 Max · 64 GB (GPU cores not stated) (mlx 0.29.2.dev20251008+85a8824a8 · mlx-lm 0.28.2 · macOS 26.1): 134,5 tokens/s em MLX q4 e 52,5 em MLX bf16 (mlx-lm BENCHMARKS.md · maintainer result, lido em 25 de out. de 2026).

Qwen3 4B numa só máquina, velocidade de geração em 128 tokens depois de um prompt de 2.048 tokens (mlx_lm.benchmark), como publicado.
ArquivoEscrita · tokens/s (medido)
MLX q4134.52
MLX q5116.39
MLX q6104.68
MLX q886.907
MLX bf1652.47

Entre máquinas, a que tem mais banda de memória (GB/s) escreve mais rápido, seja Mac ou placa de vídeo. Quanto cada máquina chega perto da própria banda, numa tabela: velocidade de LLM e banda de memória. Qual formato de arquivo escolher no Mac: GGUF ou MLX.

Perguntas

Um token é a mesma coisa que uma palavra?

Muitas vezes, não sempre. Palavras curtas e comuns são um token; palavras longas ou raras se dividem em dois ou três. No exemplo acima, “incrivelmente” vira três tokens. Texto em português dividido por este tokenizador gasta mais tokens por palavra (1,8 contra 1,3 em inglês), porque o vocabulário dele tem menos palavras inteiras em português.

Todos os modelos usam os mesmos tokens?

Não. Cada família de modelos traz o próprio tokenizador e vocabulário; este tem 128.256 entradas. A mesma frase pode ter alguns tokens a mais ou a menos em outro modelo, então compare velocidades só do mesmo modelo.

Por que a resposta demora a começar com um documento longo?

Porque o prompt inteiro é lido antes da primeira palavra aparecer. Ler é bem mais rápido por token que escrever, mas um documento longo tem milhares de tokens, então a espera cresce com o tamanho dele.

Este site estima tokens por segundo para o meu computador?

Não. Uma velocidade só aparece onde uma fonte mediu aquela máquina, com o modelo, o arquivo, o programa e o build usados. As páginas de modelo e de hardware mostram essas linhas em Velocidade medida.