Pular para o conteúdo
Local AI Wizard
Sua máquina
Tema

Quanta memória uma conversa longa usa?

Tamanho do contexto e o cache KV, calculados a partir das configurações reais dos modelos.

Memória · atualizado em

Resposta curta

~4,8GB

Mais do que o arquivo sugere: a conversa fica num cache KV que cresce a cada token. No Qwen3 8B, até uns 4,8 GB.

  • Conversa curta (4.096 tokens): 0,6 GB.
  • Contexto completo (32.768 tokens): 4,8 GB, quase o tamanho do arquivo Q4_K_M de 5 GB.
  • Para economizar: Defina um contexto menor no app ou comece uma conversa nova.

Calculado pelo config.json do modelo com cache em 16 bits. Metodologia

O que é o cache KV

O contexto é tudo o que o modelo enxerga de uma vez: suas mensagens, as respostas dele, qualquer documento colado, contado em tokens (uma palavra ou parte dela). Para não refazer trabalho, o programa guarda dois vetores por token em cada camada de atenção, as chaves e os valores: o cache KV. O tamanho é o número de camadas × as cabeças de chave e valor × o tamanho da cabeça × 2 (chaves e valores) × 2 bytes por número, para cada token da conversa.

Para o Qwen3 8B, o config.json coletado dá: 2 (K and V) x 36 global layers x 8 KV heads x 128 head size x 2 B (FP16) per token, 144 KiB por token. (Qwen/Qwen3-8B config.json, lido em 23 de out. de 2026)

Cache por contexto

Cache KV em GB com precisão de 16 bits, pelo config.json de cada modelo. Traço é além do contexto publicado do modelo.

Tamanho do cache KV por tamanho de contexto em três modelos revisados.
Contexto (tokens)Qwen3 8B (GB)Qwen3 14B (GB)Gemma 4 12B (GB)
4.0960,60,670,4
16.3842,422,680,6
32.7684,835,370,87
131.072Além do contexto publicado de 32.768 tokens deste modeloAlém do contexto publicado de 32.768 tokens deste modelo2,48

O Gemma 4 12B cresce bem mais devagar porque a maioria das camadas só olha uma janela deslizante dos últimos 1.024 tokens; só as poucas camadas globais guardam todos os tokens. A fórmula pelo config.json: 2 (K and V) x 8 global layers x 1 KV heads x 512 head size x 2 B (FP16) per token; sliding layers: 40 x 8 x 256, capped at 1024 tokens. Coletado em 23 de out. de 2026.

Uma placa de 12 GB, na conta

Qwen3 8B Q4_K_M na RTX 3060 · 12 GB de VRAM: arquivo × 1,2, mais o cache, mais a reserva de 2 GB da placa, arredondado para cima.

4.096 tokens
Precisa de 9 GBDentro dos 12 GB da placa
16.384 tokens
Precisa de 11 GBDentro dos 12 GB da placa
32.768 tokens
Precisa de 13 GBMais que os 12 GB da placa
O arquivo
5,03 GBQ4_K_M em Qwen/Qwen3-8B-GGUF, como publicado no Hub.Qwen/Qwen3-8B-GGUF

Então, na RTX 3060 · 12 GB de VRAM, este arquivo funciona até uns 16.384 tokens de conversa pela estimativa do site; uma conversa mais longa pede um arquivo menor, um cache menor ou mais memória.

Mantendo-o pequeno

Defina um contexto menor
O cache é reservado para a janela que você escolheOllama, LM Studio e llama.cpp deixam ajustar; a maioria das conversas nunca precisa do máximo do modelo.
Comece uma conversa nova
Contexto vazio, cache vazioConversas longas ficam lentas e enchem a memória; uma nova começa pequena.
Quantize o cache
Menos bits por número, cache menorO llama.cpp pode guardar o cache com menos precisão; os valores do site ficam em 16 bits, o padrão.
Escolha um modelo com camadas deslizantes
Como o Gemma 4 12BAs páginas de modelo usam a mesma fórmula do config.json quando escolhem o arquivo que cabe num contexto.