Pular para o conteúdo
Local AI Wizard
Sua máquina
Tema

IA local, o básico: o que significam 9B, Q4 e VRAM?

As ideias por trás de cada número do site, uma seção curta para cada.

Primeiros passos · atualizado em

Resposta curta

9B é o tamanho do modelo, Q4 é o quanto o arquivo foi compactado, e VRAM é a memória da placa de vídeo, onde o modelo precisa caber.

  • 9B, 27B: Bilhões de parâmetros. Todos ficam na memória enquanto o modelo roda.
  • Q4: Cerca de 0,625 byte por parâmetro: os pesos de um 27B ocupam uns 17 GB.
  • VRAM: A placa de vídeo usa só a dela; o Mac usa uma memória unificada, compartilhada.
  • A regra: A memória, não a velocidade do processador, decide o que roda.

Estimativa de planejamento com a fórmula do site, não uma medição. Metodologia

O que significa “9B” ou “27B”

Um modelo é um arquivo enorme de números que ele aprendeu no treino, chamados parâmetros ou pesos. “B” é bilhão: um modelo 27B tem 27 bilhões deles. Mais parâmetros costumam dar um modelo mais capaz, mas todos precisam estar na memória enquanto ele roda. Por isso é a memória, e não a velocidade do processador, que decide o que você consegue rodar.

Compare Qwen3.5 9B com Qwen3.8 27B: o triplo de parâmetros, mais ou menos o triplo de memória.

Q4, Q8 e FP16: bytes por parâmetro

Cada parâmetro é guardado com uma precisão. Precisão menor deixa o arquivo menor com pouca perda de qualidade. Apps locais como Ollama, LM Studio e llama.cpp costumam baixar versões Q4. Um modelo 27B ocupa:

FP16
~54 GB2 bytes por parâmetro · o original
Q8
~30 GBcerca de 1,1 byte · qualidade quase original
Q4
~17 GBcerca de 0,6 byte · a escolha comum no uso local

Como o site estima se um modelo cabe

Os pesos não são tudo: o programa que roda o modelo precisa de espaço de trabalho, e o computador precisa de memória para si. O site soma os dois:

memória ≈ pesos Q4 + 20% de folga + reserva
27B num Mac ou PC de 32 GB
~29 GB16,9 + 3,4 + 8 GB de reserva
27B num Mac ou PC de 16 GB
~25 GB16,9 + 3,4 + 4 GB de reserva
27B numa placa de vídeo
~23 GBreserva de 2 GB por GPU: o sistema usa a própria RAM

A reserva acompanha a máquina: 25% da memória, no mínimo 2 GB e no máximo 8 GB (8 GB → 2, 16 GB → 4, 32 GB ou mais → 8). Páginas sem máquina escolhida mostram o valor com 8 GB.

É um piso de planejamento, não um teste. Modelos de imagem, vídeo e áudio usam o mínimo documentado pelo publicador quando existe; senão, uma estimativa de 16 bits a partir dos parâmetros, rotulada “est. 16 bits”:

memória = arred. para cima( parâmetros × 2 × 1,2 + 2 )

Parâmetros totais e ativos (MoE)

Alguns modelos são uma equipe de “especialistas” e usam só alguns deles a cada palavra. Qwen3.5 35B A3B tem 35B parâmetros no total e cerca de 3B ativos por palavra. A parte ativa define a velocidade; o total define a memória, porque todos os especialistas precisam estar carregados. O site sempre planeja com o total.

Por que modelos de imagem vêm em partes

Um gerador de imagem é uma linha de montagem: um encoder de texto lê o prompt, uma rede principal (UNet ou transformer) desenha e um VAE transforma o resultado em pixels. Cada parte tem os próprios parâmetros. Muitas vezes o publicador informa o tamanho de cada parte e nenhum total: os autores do Stable Diffusion 1.5 escrevem “860M UNet and 123M text encoder”.

Nesses casos o site mostra a soma das partes publicadas, com esse rótulo, lista as partes e diz o que o publicador deixou de fora (aqui, o VAE). Ele não usa a contagem de arquivos do Hugging Face nesses modelos: no GLM-Image o publicador informa 9B + 7B, enquanto o Hub conta 6,9B porque lê só parte dos arquivos.

VRAM, memória unificada e o limite do macOS

Uma placa de vídeo de PC tem memória própria, a VRAM. Os modelos carregam nela, e a RAM do computador não soma. RTX 4090 · 24 GB comporta cerca de 24 GB de modelo, mesmo num PC com 64 GB de RAM.

Um Mac com Apple silicon tem um único bloco, a memória unificada, dividido entre o processador e a GPU. Por padrão o macOS deixa a GPU usar cerca de 75% dele (menos em algumas versões e máquinas pequenas). Num Mac de 128 GB isso dá uns 96 GB, então os modelos rodam bem até 96 GB mais a reserva de 8 GB, 104 GB; entre isso e 128 GB eles ainda carregam, mas rodam devagar, porque a parte além da fatia da GPU roda no processador. Com o padrão de 75% que o site usa no planejamento, a reserva de 25% cobre a diferença em Macs de 8 a 24 GB, então a memória inteira conta; onde o macOS dá menos à GPU, um modelo perto do topo dessa memória pode rodar devagar.

Usuários avançados podem aumentar o limite no Terminal; ele volta ao padrão quando o Mac reinicia, e o macOS ainda precisa de espaço para si:

sudo sysctl iogpu.wired_limit_mb=110000

Conversas longas pedem mais memória

Enquanto responde, o modelo guarda uma memória de trabalho da conversa (o cache KV). Ela cresce com o tamanho do texto: um chat curto soma pouco, um documento ou uma conversa longa pode somar vários GB. Os 20% de folga do site cobrem o uso curto; o planejador de cada página de hardware deixa você somar um orçamento para contexto longo.

Quando o modelo não cabe na VRAM

Ferramentas como llama.cpp e Ollama conseguem deixar parte do modelo na RAM do computador quando ele não cabe na VRAM. Roda, mas bem mais devagar, porque a GPU acessa a RAM muito mais lentamente. As páginas de hardware listam como “roda bem” o que cabe na VRAM e, à parte, o que “roda devagar” com offload: até a VRAM mais a RAM do PC menos a reserva da própria RAM. Quando a página de uma placa de vídeo não informa a RAM, o site presume 32 GB e diz isso. “Devagar” nunca é um número de velocidade.

Caber não é velocidade

A memória decide se o modelo cabe; a banda de memória (GB/s) decide, em grande parte, a velocidade com que ele escreve. Cada palavra lê os pesos ativos da memória uma vez, então uma máquina com o dobro de banda é mais ou menos duas vezes mais rápida no mesmo modelo. As páginas de hardware mostram a banda nas especificações e listam tokens por segundo medidos só quando alguém publicou um teste naquela máquina exata. O site nunca estima velocidade.

Publicado, estimado e medido

Publicado
informado pelo publicador ou benchmark, com fonte e data
Estimado
calculado aqui a partir de dados publicados, com as fórmulas acima
Medido
um teste identificado em hardware identificado, mostrado como foi publicado