O que é quantização? O Q dos arquivos de modelo, explicado
Por que o mesmo modelo vem em arquivos de tamanhos tão diferentes, o que os menores perdem e como ler nomes como Q4_K_M.
Resposta curta
Guardar cada número do modelo com menos bits, como um arredondamento. O arquivo fica bem menor; o modelo, um pouco menos exato.
- Tamanho: O Qwen3.5 9B cai de 17,9 GB em 16 bits para 5,7 GB em Q4_K_M, 32% do tamanho.
- Nos nomes: O número depois do Q é mais ou menos quantos bits restam: Q8 uns 8, Q4 uns 4.
- Por onde começar: Q4_K_M, o equilíbrio comum entre tamanho e qualidade.
Tamanhos publicados (unsloth/Qwen3.5-9B-GGUF, lido em 23 de out. de 2026)
A ideia
Pense numa foto salva com qualidade menor: fica quase igual, e o arquivo fica bem menor. Ou numa receita que diz “um terço de xícara” em vez de “0,3333 xícara”. Um modelo é feito de bilhões de números aprendidos no treino. A quantização guarda cada um com menos bits, mais ou menos como arredondar, e o arquivo inteiro encolhe. O modelo continua funcionando, mas cada número fica um pouco menos exato.
Um bit é um 0 ou 1 na memória do computador. Os arquivos originais usam 16 bits para cada número. O “Q” no nome do arquivo diz quantos bits sobram: Q8 guarda cerca de 8, Q4 cerca de 4.
Assista: quantização em 54 segundos
Um explicador sem som: um número guardado com 16, 8 e 4 bits, um grupo que divide uma escala, os tamanhos reais do Qwen3.5 9B e a perda de qualidade publicada pelo llama.cpp.
Transcrição
- Mesmo modelo. 32% do tamanho. Como? Quantização.
- Um modelo são bilhões de números. A quantização arredonda cada um. Menos bits por número.
- Siga um número: 0,42. Menos bits, erro maior.
- 4 bits: só 16 valores. Cada um vai ao mais próximo. O grupo divide uma escala.
- Qwen3.5 9B: tamanhos reais. Comece pelo Q4_K_M. Arquivo de 5,7 GB · ~8 GB para rodar. Sobra memória? Suba. Falta memória? Q3_K_M.
- O que se perde. Aumento da perplexidade · Llama 3 8B · llama.cpp. Abaixo de 4 bits, a perda dispara. Q4_K_M: perda pequena.
- Comece pelo Q4_K_M. Depois suba, se couber. Local AI Wizard · Aprenda.
Sem som. Cada número do vídeo está nesta página, com a fonte.
Um número, menos bits
Acompanhe um número inventado, 0,42. Com 16 bits ele quase não muda. Com 8 bits muda um pouco. Com 4 bits só existem 16 valores possíveis, então ele cai no mais próximo e muda mais.
O truque que deixa 4 bits usáveis é a escala compartilhada. Os números ficam em grupos pequenos. Cada grupo guarda um número a mais, a escala (aqui 0,116), e cada número guarda só um degrau inteiro de −8 a 7. Para ler de volta, o programa multiplica o degrau pela escala. Números pequenos num grupo podem virar zero, como 0,05 aqui.
| Guardado com | Lido como | Erro |
|---|---|---|
| 16 bits | 0,41992 | 0,00008 |
| 8 bits | 0,42094 | 0,00094 |
| 4 bits | 0,46286 | 0,04286 |
Tamanhos reais
Qwen3.5 9B: um modelo, seis arquivos
Tamanho do arquivo em GB, de 3 a 16 bits por número
Tamanhos no Hub (unsloth/Qwen3.5-9B-GGUF, lido em 23 de out. de 2026)
Para rodar um arquivo é preciso um pouco mais de memória que o tamanho dele: espaço de trabalho mais a própria conversa. Com a mesma regra das páginas de modelo, o Q4_K_M pede cerca de 8 GB e o BF16 cerca de 22 GB, antes da parte que o computador guarda para si (2 GB numa placa de vídeo, 2 a 8 GB num Mac ou PC). A estimativa geral do site para o Qwen3.5 9B em Q4 é 7 GB. Mude o gráfico para tabela para ver todos os arquivos. O repositório não tem um Q2_K simples; os arquivos de 2 bits são Unsloth Dynamic (veja os nomes abaixo).
O que se perde
A perda de qualidade é medida pela perplexidade: o quanto o modelo se surpreende com um texto real que ele não viu. Menor é melhor, e quantizar aumenta esse valor. O llama.cpp publica quanto cada tipo de arquivo aumenta a perplexidade num modelo, o Llama 3 8B (llama.cpp · quantize options, lido em 25 de out. de 2026).
| Arquivo | Aumento da perplexidade (menor é melhor) |
|---|---|
| Q8_0 | 0,0026 |
| Q6_K | 0,0217 |
| Q5_K_M | 0,0569 |
| Q4_K_M | 0,1754 |
| Q4_0 | 0,4685 |
| Q3_K_M | 0,6569 |
| Q2_K | 3,5199 |
Leia como uma curva. De 8 até 5 bits a mudança é mínima; quando os k-quants foram lançados, o arquivo de 6 bits ficou a até 0,1% do original (llama.cpp PR #1684 · k-quants, lido em 25 de out. de 2026). O Q4_K_M ainda é pequeno. Abaixo de 4 bits a perda sobe rápido: o Q3_K_M perde cerca de 4 vezes mais que o Q4_K_M, e o Q2_K muito mais.
Por isso o Q4_K_M é o ponto de equilíbrio comum: cerca de um terço do tamanho original com perda pequena, logo antes da curva virar. A própria ferramenta do llama.cpp já o chamou de “medium, balanced quality - recommended” (equilíbrio médio, recomendado) (llama.cpp · quantize options, 2023, lido em 25 de out. de 2026), e o Ollama o escolhe por padrão num repositório do Hugging Face que tenha esse arquivo (Hugging Face · Ollama, lido em 17 de out. de 2026).
A perda depende do modelo: modelos pequenos e alguns mais novos são mais sensíveis, e benchmarks publicados raramente testam arquivos quantizados. Este site não inventa nota de qualidade para um arquivo.
Como ler os nomes
Os rótulos que aparecem no Hugging Face e no Ollama ou LM Studio.
- GGUF
- O formato do arquivo, não uma precisão. Um arquivo guarda o modelo inteiro, em qualquer das precisões abaixo.llama.cpp · Ollama · LM StudioHugging Face · GGUF · lido em 17 de out. de 2026
- Q4_K_M
- Q4: cerca de 4 bits por número. K: “k-quant”, números guardados em grupos de 256, cada um dividido em 8 blocos de 32 com escala própria. M: mistura média, em que algumas partes sensíveis ficam com 6 bits.Arquivos GGUF (S = pequeno, tudo em 4 bits)llama.cpp PR #1684 · k-quants · lido em 25 de out. de 2026
- Q8_0 · Q4_0
- Os formatos mais antigos e simples: blocos de 32 números que dividem uma escala. O Q8_0 fica muito perto do original; o Q4_0 perde mais que o Q4_K_M com tamanho parecido.Arquivos GGUFllama.cpp · ggml-common.h · lido em 25 de out. de 2026
- IQ4_XS · IQ3_M · IQ2_XXS
- “i-quants”. Antes de arredondar, a ferramenta lê um texto de amostra para saber quais números importam mais (uma matriz de importância) e guarda esses com mais exatidão. XS e XXS significam extra pequeno.Arquivos GGUF, em geral de 2 a 4 bitsllama.cpp · imatrix · lido em 25 de out. de 2026
- UD-Q4_K_XL · UD-IQ2_M
- Unsloth Dynamic: arquivos da equipe Unsloth “quantizados de forma seletiva”, com precisões diferentes para partes diferentes do modelo. XL é a mistura maior deles.Arquivos GGUF de unsloth/…unsloth/DeepSeek-R1-GGUF · lido em 25 de out. de 2026
- MXFP4
- Um formato de ponto flutuante de 4 bits em que blocos de números dividem uma escala. A OpenAI treinou o gpt-oss com ele, o que deixa o gpt-oss-20b rodar em 16 GB.gpt-oss, como foi publicadoOpenAI · gpt-oss · lido em 25 de out. de 2026
- FP8
- Ponto flutuante de 8 bits (E4M3 ou E5M2). Alguns publicadores lançam uma cópia oficial em FP8 ao lado do original.Placas de vídeo de servidorMicikevicius et al., 2022 · FP8 · lido em 25 de out. de 2026
- BF16 · F16
- 16 bits por número: o original, sem quantização. O BF16 usa 8 bits para a grandeza do número e 7 para os dígitos.O lançamento do publicadorGoogle Cloud · bfloat16 · lido em 25 de out. de 2026
- GPTQ
- Um método que arredonda o modelo inteiro de uma vez para 3 ou 4 bits, corrigindo o erro de cada passo no caminho.Programas para placa de vídeo, não o llama.cppFrantar et al., 2022 · GPTQ · lido em 25 de out. de 2026
- AWQ
- “Ciente das ativações”: encontra cerca de 1% dos números que mais importam e os protege enquanto arredonda o resto.Programas para placa de vídeo, não o llama.cppLin et al., 2023 · AWQ · lido em 25 de out. de 2026
- EXL2
- Mistura precisões dentro do modelo para chegar a qualquer média entre 2 e 8 bits, como 4,65.ExLlamaV2ExLlamaV2 README · lido em 25 de out. de 2026
- MLX 4 bits · 8 bits
- O formato da Apple para Macs. Por padrão os números são arredondados em grupos de 64, cada um com escala própria.Macs com Apple silicon (LM Studio, mlx-lm)Apple · mlx-lm · lido em 25 de out. de 2026
Como escolher
- 1 · Comece aqui
- Q4_K_MCerca de um terço do tamanho original. No Qwen3.5 9B: 5,7 GB.
- 2 · Memória sobrando
- Q5_K_M · Q6_K · Q8_0Mais perto do original; maiores e mais lentos para ler.
- 3 · Não cabe
- Q3_K_M · IQ3 · IQ4_XSArquivos menores com mais perda. No Qwen3.5 9B, o Q3_K_M tem 4,7 GB.
- 4 · Ainda não cabe
- Um modelo menor em Q4Em geral é melhor que um modelo maior em Q2, onde a perda é bem maior.
Cada página de modelo lista os arquivos reais e a memória de cada um em Versões para baixar (Qwen3.5 9B). Para ver quais modelos e arquivos cabem no seu computador, escolha sua máquina.
Perguntas
A quantização piora o modelo?
Um pouco, e mais quanto menos bits ele guarda. Com 8 e 6 bits a mudança é muito pequena; com 4 bits (Q4_K_M) é pequena; com 2 bits é grande. Quanto depende do modelo, então um arquivo quantizado pode ter nota menor que o original num benchmark.
O Q8_0 é sempre melhor que o Q4_K_M?
Ele fica mais perto do original, mas no Qwen3.5 9B tem 9,5 GB contra 5,7 GB, e um arquivo maior demora mais para ser lido a cada palavra, então costuma escrever mais devagar. Escolha quando couber com folga.
Posso quantizar um modelo sozinho?
Pode. A ferramenta llama-quantize do llama.cpp transforma um arquivo GGUF de 16 bits em Q4_K_M ou outro tipo. A maioria baixa um arquivo que alguém já fez, porque modelos populares são convertidos em poucos dias.
As notas deste site valem para arquivos Q4?
Não. As notas de benchmark daqui são dos pesos originais do publicador. Uma cópia quantizada não é testada à parte, então a nota dela pode ser um pouco menor.