Q4_K_M, Q8_0 ou F16: qual quantização baixar?
O mesmo modelo em três quantizações: tamanho do arquivo, memória e o que se perde em qualidade.
Resposta curta
Comece pelo Q4_K_M. Suba para o Q8_0 só se ele couber com folga.
- Q4_K_M: A escolha comum: 16,8 GB no Qwen3.6 27B, 31% do original.
- Q8_0: Mais perto do original, e maior: 28,6 GB no mesmo modelo.
- F16 · BF16: Precisão total (53,8 GB), para converter ou fazer fine-tune, não para o dia a dia.
Tamanhos publicados (unsloth/Qwen3.6-27B-GGUF, lido em 16 de out. de 2026)
O que os nomes significam
Um arquivo GGUF guarda cada peso do modelo com uma precisão escolhida. O nome diz qual (Hugging Face · GGUF, lido em 17 de out. de 2026):
- Q4_K_M
- “k-quant” de 4 bits, variante médiaPesos em blocos com escalas próprias; algumas camadas ficam com mais precisão. O llama.cpp mede 4,89 bits por peso.
- Q8_0
- 8 bits, uma escala por bloco de 32 pesosUm esquema mais antigo e simples, que fica perto do original. 8,5 bits por peso.
- F16 · BF16
- Ponto flutuante de 16 bits, sem quantizaçãoÉ assim que a maioria dos publicadores lança os pesos. O F16 mede 16 bits por peso.
A letra depois do K é o tamanho dentro do mesmo número de bits: S (pequeno), M (médio), L (grande). Arquivos que começam com IQ usam uma matriz de importância para manter a qualidade com ainda menos bits. Bits por peso da tabela do llama.cpp para o Llama 3.1 8B (llama.cpp · quantize, lido em 17 de out. de 2026).
Três arquivos reais
Qwen3.6 27B no Hugging Face. A memória é a estimativa de planejamento do site para conversas curtas.
| Arquivo | Tamanho (GB) | Mac ou PC de 32 GB+ (GB, est.) | Placa de vídeo (GB, est.) |
|---|---|---|---|
| Q4_K_M | 16,8 | 29 | 23 |
| Q8_0 | 28,6 | 45 | 39 |
| BF16 | 53,8 | 73 | 67 |
As colunas de memória usam a fórmula Q4, Q8 e FP16 do site (como a memória é estimada). O modelo também tem um arquivo separado de visão, de cerca de 0,9 GB, necessário só para ler imagens.
Maior arquivo por máquina
O mais preciso dos três arquivos cuja estimativa para 27B cabe no que a máquina oferece a um modelo.
- RTX 4090 · 24 GB de VRAM
- Q4_K_MOferece 24 GB a um modelo
- RTX 5090 · 32 GB de VRAM
- Q4_K_MOferece 32 GB a um modelo
- Mac mini M4 Pro · 48 GB unificados
- Q4_K_MOferece 44 GB a um modelo
- Mac Studio · M5 Max · CPU de 18 núcleos / GPU de 40 núcleos · 64 GB unificados
- Q8_0Oferece 56 GB a um modelo
- Mac Studio M5 Max · 128 GB unificados
- BF16Oferece 104 GB a um modelo
Como escolher
- Para a maioria
- Q4_K_MO Ollama usa o Q4_K_M por padrão quando o repositório do Hugging Face tem esse arquivo.Hugging Face · Ollama
- Memória sobrando
- Q8_0 · Q6_K · Q5_K_MMais fiéis ao original, porém maiores e mais lentos para ler.
- Pouca memória
- Q3_K_M · IQ3 · IQ2Menores, com perda maior de qualidade; compare com um modelo menor em Q4.
Arquivos menores têm menos a ler a cada palavra. No teste de exemplo do llama.cpp, numa única máquina, o Q8_0 gerou texto mais devagar que o Q4_K_M (llama.cpp · quantize, lido em 17 de out. de 2026). O site não estima velocidade. As notas de benchmark deste site são dos pesos originais do publicador; um arquivo quantizado pode pontuar um pouco menos.