IA local, o básico: o que significam 9B, Q4 e VRAM?
As ideias por trás de cada número do site, uma seção curta para cada.
Resposta curta
9B é o tamanho do modelo, Q4 é o quanto o arquivo foi compactado, e VRAM é a memória da placa de vídeo, onde o modelo precisa caber.
- 9B, 27B: Bilhões de parâmetros. Todos ficam na memória enquanto o modelo roda.
- Q4: Cerca de 0,625 byte por parâmetro: os pesos de um 27B ocupam uns 17 GB.
- VRAM: A placa de vídeo usa só a dela; o Mac usa uma memória unificada, compartilhada.
- A regra: A memória, não a velocidade do processador, decide o que roda.
Estimativa de planejamento com a fórmula do site, não uma medição. Metodologia
O que significa “9B” ou “27B”
Um modelo é um arquivo enorme de números que ele aprendeu no treino, chamados parâmetros ou pesos. “B” é bilhão: um modelo 27B tem 27 bilhões deles. Mais parâmetros costumam dar um modelo mais capaz, mas todos precisam estar na memória enquanto ele roda. Por isso é a memória, e não a velocidade do processador, que decide o que você consegue rodar.
Compare Qwen3.5 9B com Qwen3.8 27B: o triplo de parâmetros, mais ou menos o triplo de memória.
Q4, Q8 e FP16: bytes por parâmetro
Cada parâmetro é guardado com uma precisão. Precisão menor deixa o arquivo menor com pouca perda de qualidade. Apps locais como Ollama, LM Studio e llama.cpp costumam baixar versões Q4. Um modelo 27B ocupa:
- FP16
- ~54 GB2 bytes por parâmetro · o original
- Q8
- ~30 GBcerca de 1,1 byte · qualidade quase original
- Q4
- ~17 GBcerca de 0,6 byte · a escolha comum no uso local
Como o site estima se um modelo cabe
Os pesos não são tudo: o programa que roda o modelo precisa de espaço de trabalho, e o computador precisa de memória para si. O site soma os dois:
memória ≈ pesos Q4 + 20% de folga + reserva- 27B num Mac ou PC de 32 GB
- ~29 GB16,9 + 3,4 + 8 GB de reserva
- 27B num Mac ou PC de 16 GB
- ~25 GB16,9 + 3,4 + 4 GB de reserva
- 27B numa placa de vídeo
- ~23 GBreserva de 2 GB por GPU: o sistema usa a própria RAM
A reserva acompanha a máquina: 25% da memória, no mínimo 2 GB e no máximo 8 GB (8 GB → 2, 16 GB → 4, 32 GB ou mais → 8). Páginas sem máquina escolhida mostram o valor com 8 GB.
É um piso de planejamento, não um teste. Modelos de imagem, vídeo e áudio usam o mínimo documentado pelo publicador quando existe; senão, uma estimativa de 16 bits a partir dos parâmetros, rotulada “est. 16 bits”:
memória = arred. para cima( parâmetros × 2 × 1,2 + 2 )Parâmetros totais e ativos (MoE)
Alguns modelos são uma equipe de “especialistas” e usam só alguns deles a cada palavra. Qwen3.5 35B A3B tem 35B parâmetros no total e cerca de 3B ativos por palavra. A parte ativa define a velocidade; o total define a memória, porque todos os especialistas precisam estar carregados. O site sempre planeja com o total.
Por que modelos de imagem vêm em partes
Um gerador de imagem é uma linha de montagem: um encoder de texto lê o prompt, uma rede principal (UNet ou transformer) desenha e um VAE transforma o resultado em pixels. Cada parte tem os próprios parâmetros. Muitas vezes o publicador informa o tamanho de cada parte e nenhum total: os autores do Stable Diffusion 1.5 escrevem “860M UNet and 123M text encoder”.
Nesses casos o site mostra a soma das partes publicadas, com esse rótulo, lista as partes e diz o que o publicador deixou de fora (aqui, o VAE). Ele não usa a contagem de arquivos do Hugging Face nesses modelos: no GLM-Image o publicador informa 9B + 7B, enquanto o Hub conta 6,9B porque lê só parte dos arquivos.
VRAM, memória unificada e o limite do macOS
Uma placa de vídeo de PC tem memória própria, a VRAM. Os modelos carregam nela, e a RAM do computador não soma. RTX 4090 · 24 GB comporta cerca de 24 GB de modelo, mesmo num PC com 64 GB de RAM.
Um Mac com Apple silicon tem um único bloco, a memória unificada, dividido entre o processador e a GPU. Por padrão o macOS deixa a GPU usar cerca de 75% dele (menos em algumas versões e máquinas pequenas). Num Mac de 128 GB isso dá uns 96 GB, então os modelos rodam bem até 96 GB mais a reserva de 8 GB, 104 GB; entre isso e 128 GB eles ainda carregam, mas rodam devagar, porque a parte além da fatia da GPU roda no processador. Com o padrão de 75% que o site usa no planejamento, a reserva de 25% cobre a diferença em Macs de 8 a 24 GB, então a memória inteira conta; onde o macOS dá menos à GPU, um modelo perto do topo dessa memória pode rodar devagar.
Usuários avançados podem aumentar o limite no Terminal; ele volta ao padrão quando o Mac reinicia, e o macOS ainda precisa de espaço para si:
sudo sysctl iogpu.wired_limit_mb=110000Conversas longas pedem mais memória
Enquanto responde, o modelo guarda uma memória de trabalho da conversa (o cache KV). Ela cresce com o tamanho do texto: um chat curto soma pouco, um documento ou uma conversa longa pode somar vários GB. Os 20% de folga do site cobrem o uso curto; o planejador de cada página de hardware deixa você somar um orçamento para contexto longo.
Quando o modelo não cabe na VRAM
Ferramentas como llama.cpp e Ollama conseguem deixar parte do modelo na RAM do computador quando ele não cabe na VRAM. Roda, mas bem mais devagar, porque a GPU acessa a RAM muito mais lentamente. As páginas de hardware listam como “roda bem” o que cabe na VRAM e, à parte, o que “roda devagar” com offload: até a VRAM mais a RAM do PC menos a reserva da própria RAM. Quando a página de uma placa de vídeo não informa a RAM, o site presume 32 GB e diz isso. “Devagar” nunca é um número de velocidade.
Caber não é velocidade
A memória decide se o modelo cabe; a banda de memória (GB/s) decide, em grande parte, a velocidade com que ele escreve. Cada palavra lê os pesos ativos da memória uma vez, então uma máquina com o dobro de banda é mais ou menos duas vezes mais rápida no mesmo modelo. As páginas de hardware mostram a banda nas especificações e listam tokens por segundo medidos só quando alguém publicou um teste naquela máquina exata. O site nunca estima velocidade.
Publicado, estimado e medido
- Publicado
- informado pelo publicador ou benchmark, com fonte e data
- Estimado
- calculado aqui a partir de dados publicados, com as fórmulas acima
- Medido
- um teste identificado em hardware identificado, mostrado como foi publicado