Pular para o conteúdo
Local AI Wizard
Sua máquina
Tema

O que deixa um LLM mais rápido num computador?

Largura de banda da memória, tamanho do arquivo e o que mostram resultados publicados do llama.cpp.

Velocidade · atualizado em

Resposta curta

Principalmente a banda de memória: para escrever cada palavra, o computador lê o modelo inteiro da memória.

  • Memória rápida: RTX 4090 · 24 GB de VRAM (1.008 GB/s) escreve 189 tokens/s com um arquivo 7B.
  • Memória lenta: Radeon RX 9060 XT · 16 GB de VRAM (320 GB/s) escreve 65 com o mesmo arquivo.
  • Resumindo: 3,2× a banda deu 2,9× a velocidade.
  • Para ir mais rápido: Arquivo menor, modelo inteiro na memória rápida ou mais banda.

Medições publicadas pela comunidade (placares do llama.cpp) e banda do fabricante; Metodologia

Por que a banda

Um modelo de linguagem escreve um token (uma palavra ou parte dela) por vez, e para escolher cada token o computador lê todos os pesos do modelo uma vez. A conta é rápida; o que demora é levar os pesos da memória até o chip. Por isso a velocidade com que a máquina escreve depende sobretudo da banda de memória, os gigabytes por segundo que a memória entrega, dividida pelo tamanho do arquivo lido.

O arquivo de referência do llama.cpp usado abaixo tem 3,82 GB (o llama-bench informa 3,56 GiB para o Llama 7B de 6,74B de parâmetros em Q4_0). Uma máquina com 1.008 GB/s conseguiria lê-lo no máximo umas 264 vezes por segundo; esse teto aproximado serve para ensinar, não é medição. Execuções reais chegam a 57% a 84% dele, porque o programa também lê o cache da conversa e o chip nunca transfere memória com perfeição. (llama.cpp Apple Silicon summary · community result, lido em 25 de out. de 2026)

Resultados medidos

Geração de tokens (128 tokens, lote 1) do mesmo arquivo 7B Q4_0, em ordem de banda.

Banda de memória e velocidade publicada do llama.cpp com o arquivo de referência 7B Q4_0, por máquina.
MáquinaBanda (GB/s)Medido (tokens/s)Teto aproximado (tokens/s)Parte do tetoBackend
Mac mini M5 Pro 24GB30767,68084%Metal
Radeon RX 9060 XT 16 GB32065,48478%ROCm (HIP)
Mac Studio M5 Max 48GB614119,916175%Metal
Radeon RX 9070 XT 16 GB64097,316758%ROCm (HIP)
RTX 4070 Ti SUPER 16 GB672132,917676%CUDA
RTX 5070 Ti 16 GB896182,423478%CUDA
RTX 3090 24 GB936161,924566%CUDA
Radeon RX 7900 XTX 24 GB960170,125168%ROCm (HIP)
RTX 4090 24 GB1.00818926472%CUDA
Mac Studio M5 Ultra 512GB1.200179,131457%Metal

A ordem da coluna de velocidade segue a da coluna de banda quase linha por linha, entre chips NVIDIA, AMD e Apple. Placas de vídeo e Macs caem na mesma linha: um Mac não é lento por ser Mac, e uma placa não é rápida por ser placa; a que tem mais banda escreve mais rápido.

Fontes: (llama.cpp CUDA scoreboard · community result, lido em 25 de set. de 2026) (llama.cpp Apple Silicon summary · community result, lido em 25 de out. de 2026) A banda é a especificação de cada fabricante, com link na página da máquina.

Ler vs escrever

Escrever (geração de tokens)
Limitado pela banda de memóriaUm token por vez, o arquivo todo lido a cada vez. É a velocidade que você sente enquanto a resposta aparece.
Ler o seu prompt (processamento do prompt)
Limitado pelo poder de cálculoO prompt inteiro é processado em paralelo, então os núcleos da GPU pesam mais aqui; documentos longos esperam por esta parte.
Arquivo maior
Proporcionalmente mais lentoUm modelo 14B em Q4 tem cerca do dobro do arquivo de um 7B, então escreve a cerca de metade da velocidade na mesma máquina.
Modelos MoE
Leem só a parte ativa por tokenEles ainda precisam de memória para todos os especialistas, mas cada token lê só os ativos, então escrevem mais rápido do que o tamanho total sugere.

Ganhando velocidade

Três alavancas saem da regra. Um arquivo menor (quantização mais baixa ou modelo menor) é lido mais rápido. Manter o modelo inteiro na memória rápida evita o caminho bem mais lento pela RAM do PC (offload). E, para o mesmo tamanho de memória, uma máquina com mais banda escreve mais rápido. As estimativas do site nunca transformam banda em velocidade; velocidades medidas só aparecem onde uma fonte as publicou, na página de cada máquina.

O llama.cpp divide um modelo entre GPU e CPU quando ele não cabe: (llama.cpp README, lido em 17 de out. de 2026)