Quanta memória uma conversa longa usa?
Tamanho do contexto e o cache KV, calculados a partir das configurações reais dos modelos.
Resposta curta
~4,8GB
Mais do que o arquivo sugere: a conversa fica num cache KV que cresce a cada token. No Qwen3 8B, até uns 4,8 GB.
- Conversa curta (4.096 tokens): 0,6 GB.
- Contexto completo (32.768 tokens): 4,8 GB, quase o tamanho do arquivo Q4_K_M de 5 GB.
- Para economizar: Defina um contexto menor no app ou comece uma conversa nova.
Calculado pelo config.json do modelo com cache em 16 bits. Metodologia
O que é o cache KV
O contexto é tudo o que o modelo enxerga de uma vez: suas mensagens, as respostas dele, qualquer documento colado, contado em tokens (uma palavra ou parte dela). Para não refazer trabalho, o programa guarda dois vetores por token em cada camada de atenção, as chaves e os valores: o cache KV. O tamanho é o número de camadas × as cabeças de chave e valor × o tamanho da cabeça × 2 (chaves e valores) × 2 bytes por número, para cada token da conversa.
Para o Qwen3 8B, o config.json coletado dá: 2 (K and V) x 36 global layers x 8 KV heads x 128 head size x 2 B (FP16) per token, 144 KiB por token. (Qwen/Qwen3-8B config.json, lido em 23 de out. de 2026)
Cache por contexto
Cache KV em GB com precisão de 16 bits, pelo config.json de cada modelo. Traço é além do contexto publicado do modelo.
| Contexto (tokens) | Qwen3 8B (GB) | Qwen3 14B (GB) | Gemma 4 12B (GB) |
|---|---|---|---|
| 4.096 | 0,6 | 0,67 | 0,4 |
| 16.384 | 2,42 | 2,68 | 0,6 |
| 32.768 | 4,83 | 5,37 | 0,87 |
| 131.072 | Além do contexto publicado de 32.768 tokens deste modelo | Além do contexto publicado de 32.768 tokens deste modelo | 2,48 |
O Gemma 4 12B cresce bem mais devagar porque a maioria das camadas só olha uma janela deslizante dos últimos 1.024 tokens; só as poucas camadas globais guardam todos os tokens. A fórmula pelo config.json: 2 (K and V) x 8 global layers x 1 KV heads x 512 head size x 2 B (FP16) per token; sliding layers: 40 x 8 x 256, capped at 1024 tokens. Coletado em 23 de out. de 2026.
Uma placa de 12 GB, na conta
Qwen3 8B Q4_K_M na RTX 3060 · 12 GB de VRAM: arquivo × 1,2, mais o cache, mais a reserva de 2 GB da placa, arredondado para cima.
- 4.096 tokens
- Precisa de 9 GBDentro dos 12 GB da placa
- 16.384 tokens
- Precisa de 11 GBDentro dos 12 GB da placa
- 32.768 tokens
- Precisa de 13 GBMais que os 12 GB da placa
- O arquivo
- 5,03 GBQ4_K_M em Qwen/Qwen3-8B-GGUF, como publicado no Hub.Qwen/Qwen3-8B-GGUF
Então, na RTX 3060 · 12 GB de VRAM, este arquivo funciona até uns 16.384 tokens de conversa pela estimativa do site; uma conversa mais longa pede um arquivo menor, um cache menor ou mais memória.
Mantendo-o pequeno
- Defina um contexto menor
- O cache é reservado para a janela que você escolheOllama, LM Studio e llama.cpp deixam ajustar; a maioria das conversas nunca precisa do máximo do modelo.
- Comece uma conversa nova
- Contexto vazio, cache vazioConversas longas ficam lentas e enchem a memória; uma nova começa pequena.
- Quantize o cache
- Menos bits por número, cache menorO llama.cpp pode guardar o cache com menos precisão; os valores do site ficam em 16 bits, o padrão.
- Escolha um modelo com camadas deslizantes
- Como o Gemma 4 12BAs páginas de modelo usam a mesma fórmula do config.json quando escolhem o arquivo que cabe num contexto.