Pular para o conteúdo
Local AI Wizard
Sua máquina
Tema

O que é quantização? O Q dos arquivos de modelo, explicado

Por que o mesmo modelo vem em arquivos de tamanhos tão diferentes, o que os menores perdem e como ler nomes como Q4_K_M.

Arquivos e versões · atualizado em

Resposta curta

Guardar cada número do modelo com menos bits, como um arredondamento. O arquivo fica bem menor; o modelo, um pouco menos exato.

  • Tamanho: O Qwen3.5 9B cai de 17,9 GB em 16 bits para 5,7 GB em Q4_K_M, 32% do tamanho.
  • Nos nomes: O número depois do Q é mais ou menos quantos bits restam: Q8 uns 8, Q4 uns 4.
  • Por onde começar: Q4_K_M, o equilíbrio comum entre tamanho e qualidade.

Tamanhos publicados (unsloth/Qwen3.5-9B-GGUF, lido em 23 de out. de 2026)

A ideia

Pense numa foto salva com qualidade menor: fica quase igual, e o arquivo fica bem menor. Ou numa receita que diz “um terço de xícara” em vez de “0,3333 xícara”. Um modelo é feito de bilhões de números aprendidos no treino. A quantização guarda cada um com menos bits, mais ou menos como arredondar, e o arquivo inteiro encolhe. O modelo continua funcionando, mas cada número fica um pouco menos exato.

Um bit é um 0 ou 1 na memória do computador. Os arquivos originais usam 16 bits para cada número. O “Q” no nome do arquivo diz quantos bits sobram: Q8 guarda cerca de 8, Q4 cerca de 4.

Assista: quantização em 54 segundos

Um explicador sem som: um número guardado com 16, 8 e 4 bits, um grupo que divide uma escala, os tamanhos reais do Qwen3.5 9B e a perda de qualidade publicada pelo llama.cpp.

Transcrição

  1. Mesmo modelo. 32% do tamanho. Como? Quantização.
  2. Um modelo são bilhões de números. A quantização arredonda cada um. Menos bits por número.
  3. Siga um número: 0,42. Menos bits, erro maior.
  4. 4 bits: só 16 valores. Cada um vai ao mais próximo. O grupo divide uma escala.
  5. Qwen3.5 9B: tamanhos reais. Comece pelo Q4_K_M. Arquivo de 5,7 GB · ~8 GB para rodar. Sobra memória? Suba. Falta memória? Q3_K_M.
  6. O que se perde. Aumento da perplexidade · Llama 3 8B · llama.cpp. Abaixo de 4 bits, a perda dispara. Q4_K_M: perda pequena.
  7. Comece pelo Q4_K_M. Depois suba, se couber. Local AI Wizard · Aprenda.

Sem som. Cada número do vídeo está nesta página, com a fonte.

Um número, menos bits

Acompanhe um número inventado, 0,42. Com 16 bits ele quase não muda. Com 8 bits muda um pouco. Com 4 bits só existem 16 valores possíveis, então ele cai no mais próximo e muda mais.

O número 0,42 guardado de três jeitos16 bits: lido como 0,41992, erro de 0,00008. 8 bits: lido como 0,42094, erro de 0,00094. 4 bits: lido como 0,46286, erro de 0,04286.O número 0,42 guardado de três jeitos16 bits0,41992erro de 0,000088 bits0,42094erro de 0,000944 bits0,46286erro de 0,042864 bits: 8 números dividem uma escala16 valores possíveis, a 0,116 um do outro, de -0,93 a 0,81. 0,42 → 0,463; -0,17 → -0,116; 0,81 → 0,810; -0,63 → -0,579; 0,05 → 0,000; 0,29 → 0,347; -0,38 → -0,347; 0,71 → 0,694.4 bits: 8 números dividem uma escala16 valores possíveis, a 0,116 um do outro0,420,463-0,930
À esquerda: um quadrado por bit. À direita: os valores de 4 bits que um grupo pode ter (traços), cada número (vazado) e onde ele cai (cheio). Versão simplificada do Q8_0 e do Q4_0 do llama.cpp, que usam grupos de 32 números.

O truque que deixa 4 bits usáveis é a escala compartilhada. Os números ficam em grupos pequenos. Cada grupo guarda um número a mais, a escala (aqui 0,116), e cada número guarda só um degrau inteiro de −8 a 7. Para ler de volta, o programa multiplica o degrau pela escala. Números pequenos num grupo podem virar zero, como 0,05 aqui.

O mesmo exemplo em tabela. Números inventados; a conta é o arredondamento de verdade.
Guardado comLido comoErro
16 bits0,419920,00008
8 bits0,420940,00094
4 bits0,462860,04286

Tamanhos reais

Qwen3.5 9B: um modelo, seis arquivos

Tamanho do arquivo em GB, de 3 a 16 bits por número

4,7 GBQ3_K_MQ3_K_M5,7 GBQ4_K_MQ4_K_M6,6 GBQ5_K_MQ5_K_M7,5 GBQ6_KQ6_K9,5 GBQ8_0Q8_017,9 GBBF16BF16

Tamanhos no Hub (unsloth/Qwen3.5-9B-GGUF, lido em 23 de out. de 2026)

Para rodar um arquivo é preciso um pouco mais de memória que o tamanho dele: espaço de trabalho mais a própria conversa. Com a mesma regra das páginas de modelo, o Q4_K_M pede cerca de 8 GB e o BF16 cerca de 22 GB, antes da parte que o computador guarda para si (2 GB numa placa de vídeo, 2 a 8 GB num Mac ou PC). A estimativa geral do site para o Qwen3.5 9B em Q4 é 7 GB. Mude o gráfico para tabela para ver todos os arquivos. O repositório não tem um Q2_K simples; os arquivos de 2 bits são Unsloth Dynamic (veja os nomes abaixo).

O que se perde

A perda de qualidade é medida pela perplexidade: o quanto o modelo se surpreende com um texto real que ele não viu. Menor é melhor, e quantizar aumenta esse valor. O llama.cpp publica quanto cada tipo de arquivo aumenta a perplexidade num modelo, o Llama 3 8B (llama.cpp · quantize options, lido em 25 de out. de 2026).

Aumento sobre o original de 16 bits, Llama 3 8B, como publicado pelo llama.cpp. Outros modelos perdem mais ou menos.
ArquivoAumento da perplexidade (menor é melhor)
Q8_00,0026
Q6_K0,0217
Q5_K_M0,0569
Q4_K_M0,1754
Q4_00,4685
Q3_K_M0,6569
Q2_K3,5199

Leia como uma curva. De 8 até 5 bits a mudança é mínima; quando os k-quants foram lançados, o arquivo de 6 bits ficou a até 0,1% do original (llama.cpp PR #1684 · k-quants, lido em 25 de out. de 2026). O Q4_K_M ainda é pequeno. Abaixo de 4 bits a perda sobe rápido: o Q3_K_M perde cerca de 4 vezes mais que o Q4_K_M, e o Q2_K muito mais.

Por isso o Q4_K_M é o ponto de equilíbrio comum: cerca de um terço do tamanho original com perda pequena, logo antes da curva virar. A própria ferramenta do llama.cpp já o chamou de “medium, balanced quality - recommended” (equilíbrio médio, recomendado) (llama.cpp · quantize options, 2023, lido em 25 de out. de 2026), e o Ollama o escolhe por padrão num repositório do Hugging Face que tenha esse arquivo (Hugging Face · Ollama, lido em 17 de out. de 2026).

A perda depende do modelo: modelos pequenos e alguns mais novos são mais sensíveis, e benchmarks publicados raramente testam arquivos quantizados. Este site não inventa nota de qualidade para um arquivo.

Como ler os nomes

Os rótulos que aparecem no Hugging Face e no Ollama ou LM Studio.

GGUF
O formato do arquivo, não uma precisão. Um arquivo guarda o modelo inteiro, em qualquer das precisões abaixo.llama.cpp · Ollama · LM StudioHugging Face · GGUF · lido em 17 de out. de 2026
Q4_K_M
Q4: cerca de 4 bits por número. K: “k-quant”, números guardados em grupos de 256, cada um dividido em 8 blocos de 32 com escala própria. M: mistura média, em que algumas partes sensíveis ficam com 6 bits.Arquivos GGUF (S = pequeno, tudo em 4 bits)llama.cpp PR #1684 · k-quants · lido em 25 de out. de 2026
Q8_0 · Q4_0
Os formatos mais antigos e simples: blocos de 32 números que dividem uma escala. O Q8_0 fica muito perto do original; o Q4_0 perde mais que o Q4_K_M com tamanho parecido.Arquivos GGUFllama.cpp · ggml-common.h · lido em 25 de out. de 2026
IQ4_XS · IQ3_M · IQ2_XXS
“i-quants”. Antes de arredondar, a ferramenta lê um texto de amostra para saber quais números importam mais (uma matriz de importância) e guarda esses com mais exatidão. XS e XXS significam extra pequeno.Arquivos GGUF, em geral de 2 a 4 bitsllama.cpp · imatrix · lido em 25 de out. de 2026
UD-Q4_K_XL · UD-IQ2_M
Unsloth Dynamic: arquivos da equipe Unsloth “quantizados de forma seletiva”, com precisões diferentes para partes diferentes do modelo. XL é a mistura maior deles.Arquivos GGUF de unsloth/…unsloth/DeepSeek-R1-GGUF · lido em 25 de out. de 2026
MXFP4
Um formato de ponto flutuante de 4 bits em que blocos de números dividem uma escala. A OpenAI treinou o gpt-oss com ele, o que deixa o gpt-oss-20b rodar em 16 GB.gpt-oss, como foi publicadoOpenAI · gpt-oss · lido em 25 de out. de 2026
FP8
Ponto flutuante de 8 bits (E4M3 ou E5M2). Alguns publicadores lançam uma cópia oficial em FP8 ao lado do original.Placas de vídeo de servidorMicikevicius et al., 2022 · FP8 · lido em 25 de out. de 2026
BF16 · F16
16 bits por número: o original, sem quantização. O BF16 usa 8 bits para a grandeza do número e 7 para os dígitos.O lançamento do publicadorGoogle Cloud · bfloat16 · lido em 25 de out. de 2026
GPTQ
Um método que arredonda o modelo inteiro de uma vez para 3 ou 4 bits, corrigindo o erro de cada passo no caminho.Programas para placa de vídeo, não o llama.cppFrantar et al., 2022 · GPTQ · lido em 25 de out. de 2026
AWQ
“Ciente das ativações”: encontra cerca de 1% dos números que mais importam e os protege enquanto arredonda o resto.Programas para placa de vídeo, não o llama.cppLin et al., 2023 · AWQ · lido em 25 de out. de 2026
EXL2
Mistura precisões dentro do modelo para chegar a qualquer média entre 2 e 8 bits, como 4,65.ExLlamaV2ExLlamaV2 README · lido em 25 de out. de 2026
MLX 4 bits · 8 bits
O formato da Apple para Macs. Por padrão os números são arredondados em grupos de 64, cada um com escala própria.Macs com Apple silicon (LM Studio, mlx-lm)Apple · mlx-lm · lido em 25 de out. de 2026

Como escolher

1 · Comece aqui
Q4_K_MCerca de um terço do tamanho original. No Qwen3.5 9B: 5,7 GB.
2 · Memória sobrando
Q5_K_M · Q6_K · Q8_0Mais perto do original; maiores e mais lentos para ler.
3 · Não cabe
Q3_K_M · IQ3 · IQ4_XSArquivos menores com mais perda. No Qwen3.5 9B, o Q3_K_M tem 4,7 GB.
4 · Ainda não cabe
Um modelo menor em Q4Em geral é melhor que um modelo maior em Q2, onde a perda é bem maior.

Cada página de modelo lista os arquivos reais e a memória de cada um em Versões para baixar (Qwen3.5 9B). Para ver quais modelos e arquivos cabem no seu computador, escolha sua máquina.

Perguntas

A quantização piora o modelo?

Um pouco, e mais quanto menos bits ele guarda. Com 8 e 6 bits a mudança é muito pequena; com 4 bits (Q4_K_M) é pequena; com 2 bits é grande. Quanto depende do modelo, então um arquivo quantizado pode ter nota menor que o original num benchmark.

O Q8_0 é sempre melhor que o Q4_K_M?

Ele fica mais perto do original, mas no Qwen3.5 9B tem 9,5 GB contra 5,7 GB, e um arquivo maior demora mais para ser lido a cada palavra, então costuma escrever mais devagar. Escolha quando couber com folga.

Posso quantizar um modelo sozinho?

Pode. A ferramenta llama-quantize do llama.cpp transforma um arquivo GGUF de 16 bits em Q4_K_M ou outro tipo. A maioria baixa um arquivo que alguém já fez, porque modelos populares são convertidos em poucos dias.

As notas deste site valem para arquivos Q4?

Não. As notas de benchmark daqui são dos pesos originais do publicador. Uma cópia quantizada não é testada à parte, então a nota dela pode ser um pouco menor.