Pular para o conteúdo
Local AI Wizard
Sua máquina
Tema

Q4_K_M, Q8_0 ou F16: qual quantização baixar?

O mesmo modelo em três quantizações: tamanho do arquivo, memória e o que se perde em qualidade.

Arquivos e versões · atualizado em

Resposta curta

Comece pelo Q4_K_M. Suba para o Q8_0 só se ele couber com folga.

  • Q4_K_M: A escolha comum: 16,8 GB no Qwen3.6 27B, 31% do original.
  • Q8_0: Mais perto do original, e maior: 28,6 GB no mesmo modelo.
  • F16 · BF16: Precisão total (53,8 GB), para converter ou fazer fine-tune, não para o dia a dia.

Tamanhos publicados (unsloth/Qwen3.6-27B-GGUF, lido em 16 de out. de 2026)

O que os nomes significam

Um arquivo GGUF guarda cada peso do modelo com uma precisão escolhida. O nome diz qual (Hugging Face · GGUF, lido em 17 de out. de 2026):

Q4_K_M
“k-quant” de 4 bits, variante médiaPesos em blocos com escalas próprias; algumas camadas ficam com mais precisão. O llama.cpp mede 4,89 bits por peso.
Q8_0
8 bits, uma escala por bloco de 32 pesosUm esquema mais antigo e simples, que fica perto do original. 8,5 bits por peso.
F16 · BF16
Ponto flutuante de 16 bits, sem quantizaçãoÉ assim que a maioria dos publicadores lança os pesos. O F16 mede 16 bits por peso.

A letra depois do K é o tamanho dentro do mesmo número de bits: S (pequeno), M (médio), L (grande). Arquivos que começam com IQ usam uma matriz de importância para manter a qualidade com ainda menos bits. Bits por peso da tabela do llama.cpp para o Llama 3.1 8B (llama.cpp · quantize, lido em 17 de out. de 2026).

Três arquivos reais

Qwen3.6 27B no Hugging Face. A memória é a estimativa de planejamento do site para conversas curtas.

Tamanhos lidos em 16 de out. de 2026; GB = 10⁹ bytes.
ArquivoTamanho (GB)Mac ou PC de 32 GB+ (GB, est.)Placa de vídeo (GB, est.)
Q4_K_M16,82923
Q8_028,64539
BF1653,87367

As colunas de memória usam a fórmula Q4, Q8 e FP16 do site (como a memória é estimada). O modelo também tem um arquivo separado de visão, de cerca de 0,9 GB, necessário só para ler imagens.

Maior arquivo por máquina

O mais preciso dos três arquivos cuja estimativa para 27B cabe no que a máquina oferece a um modelo.

RTX 4090 · 24 GB de VRAM
Q4_K_MOferece 24 GB a um modelo
RTX 5090 · 32 GB de VRAM
Q4_K_MOferece 32 GB a um modelo
Mac mini M4 Pro · 48 GB unificados
Q4_K_MOferece 44 GB a um modelo
Mac Studio M5 Max · 128 GB unificados
BF16Oferece 104 GB a um modelo

Como escolher

Para a maioria
Q4_K_MO Ollama usa o Q4_K_M por padrão quando o repositório do Hugging Face tem esse arquivo.Hugging Face · Ollama
Memória sobrando
Q8_0 · Q6_K · Q5_K_MMais fiéis ao original, porém maiores e mais lentos para ler.
Pouca memória
Q3_K_M · IQ3 · IQ2Menores, com perda maior de qualidade; compare com um modelo menor em Q4.

Arquivos menores têm menos a ler a cada palavra. No teste de exemplo do llama.cpp, numa única máquina, o Q8_0 gerou texto mais devagar que o Q4_K_M (llama.cpp · quantize, lido em 17 de out. de 2026). O site não estima velocidade. As notas de benchmark deste site são dos pesos originais do publicador; um arquivo quantizado pode pontuar um pouco menos.