O que deixa um LLM mais rápido num computador?
Largura de banda da memória, tamanho do arquivo e o que mostram resultados publicados do llama.cpp.
Resposta curta
Principalmente a banda de memória: para escrever cada palavra, o computador lê o modelo inteiro da memória.
- Memória rápida: RTX 4090 · 24 GB de VRAM (1.008 GB/s) escreve 189 tokens/s com um arquivo 7B.
- Memória lenta: Radeon RX 9060 XT · 16 GB de VRAM (320 GB/s) escreve 65 com o mesmo arquivo.
- Resumindo: 3,2× a banda deu 2,9× a velocidade.
- Para ir mais rápido: Arquivo menor, modelo inteiro na memória rápida ou mais banda.
Medições publicadas pela comunidade (placares do llama.cpp) e banda do fabricante; Metodologia
Por que a banda
Um modelo de linguagem escreve um token (uma palavra ou parte dela) por vez, e para escolher cada token o computador lê todos os pesos do modelo uma vez. A conta é rápida; o que demora é levar os pesos da memória até o chip. Por isso a velocidade com que a máquina escreve depende sobretudo da banda de memória, os gigabytes por segundo que a memória entrega, dividida pelo tamanho do arquivo lido.
O arquivo de referência do llama.cpp usado abaixo tem 3,82 GB (o llama-bench informa 3,56 GiB para o Llama 7B de 6,74B de parâmetros em Q4_0). Uma máquina com 1.008 GB/s conseguiria lê-lo no máximo umas 264 vezes por segundo; esse teto aproximado serve para ensinar, não é medição. Execuções reais chegam a 57% a 84% dele, porque o programa também lê o cache da conversa e o chip nunca transfere memória com perfeição. (llama.cpp Apple Silicon summary · community result, lido em 25 de out. de 2026)
Resultados medidos
Geração de tokens (128 tokens, lote 1) do mesmo arquivo 7B Q4_0, em ordem de banda.
| Máquina | Banda (GB/s) | Medido (tokens/s) | Teto aproximado (tokens/s) | Parte do teto | Backend |
|---|---|---|---|---|---|
| Mac mini M5 Pro 24GB | 307 | 67,6 | 80 | 84% | Metal |
| Radeon RX 9060 XT 16 GB | 320 | 65,4 | 84 | 78% | ROCm (HIP) |
| Mac Studio M5 Max 48GB | 614 | 119,9 | 161 | 75% | Metal |
| Radeon RX 9070 XT 16 GB | 640 | 97,3 | 167 | 58% | ROCm (HIP) |
| RTX 4070 Ti SUPER 16 GB | 672 | 132,9 | 176 | 76% | CUDA |
| RTX 5070 Ti 16 GB | 896 | 182,4 | 234 | 78% | CUDA |
| RTX 3090 24 GB | 936 | 161,9 | 245 | 66% | CUDA |
| Radeon RX 7900 XTX 24 GB | 960 | 170,1 | 251 | 68% | ROCm (HIP) |
| RTX 4090 24 GB | 1.008 | 189 | 264 | 72% | CUDA |
| Mac Studio M5 Ultra 512GB | 1.200 | 179,1 | 314 | 57% | Metal |
A ordem da coluna de velocidade segue a da coluna de banda quase linha por linha, entre chips NVIDIA, AMD e Apple. Placas de vídeo e Macs caem na mesma linha: um Mac não é lento por ser Mac, e uma placa não é rápida por ser placa; a que tem mais banda escreve mais rápido.
Fontes: (llama.cpp CUDA scoreboard · community result, lido em 25 de set. de 2026) (llama.cpp Apple Silicon summary · community result, lido em 25 de out. de 2026) A banda é a especificação de cada fabricante, com link na página da máquina.
Ler vs escrever
- Escrever (geração de tokens)
- Limitado pela banda de memóriaUm token por vez, o arquivo todo lido a cada vez. É a velocidade que você sente enquanto a resposta aparece.
- Ler o seu prompt (processamento do prompt)
- Limitado pelo poder de cálculoO prompt inteiro é processado em paralelo, então os núcleos da GPU pesam mais aqui; documentos longos esperam por esta parte.
- Arquivo maior
- Proporcionalmente mais lentoUm modelo 14B em Q4 tem cerca do dobro do arquivo de um 7B, então escreve a cerca de metade da velocidade na mesma máquina.
- Modelos MoE
- Leem só a parte ativa por tokenEles ainda precisam de memória para todos os especialistas, mas cada token lê só os ativos, então escrevem mais rápido do que o tamanho total sugere.
Ganhando velocidade
Três alavancas saem da regra. Um arquivo menor (quantização mais baixa ou modelo menor) é lido mais rápido. Manter o modelo inteiro na memória rápida evita o caminho bem mais lento pela RAM do PC (offload). E, para o mesmo tamanho de memória, uma máquina com mais banda escreve mais rápido. As estimativas do site nunca transformam banda em velocidade; velocidades medidas só aparecem onde uma fonte as publicou, na página de cada máquina.
O llama.cpp divide um modelo entre GPU e CPU quando ele não cabe: (llama.cpp README, lido em 17 de out. de 2026)