O que são parâmetros totais e ativos num modelo MoE?
Por que um modelo “35B A3B” pede a memória de 35B, e não de 3B.
Resposta curta
Num modelo de mistura de especialistas (MoE), total é todo parâmetro; ativo é a parte usada a cada palavra. A memória segue o total.
- Total: Define a memória, porque todos os especialistas ficam carregados.
- Ativos: Definem o trabalho feito a cada palavra.
- Exemplo: O Qwen3.5 35B A3B pede cerca de 35 GB em Q4, pelos 35B, não pelos 3B.
Estimativa de planejamento com a fórmula do site, não uma medição. Metodologia
Como o MoE funciona
Num modelo denso, todos os parâmetros participam de cada palavra. Num modelo MoE, algumas camadas são divididas em muitos “especialistas”, e um pequeno roteador escolhe alguns deles a cada palavra. O resto espera na memória pelas palavras em que são bons.
- Parâmetros totais
- Tudo o que precisa estar carregadoDefine a memória e o tamanho do download.
- Parâmetros ativos
- O que é usado em uma palavraDefine o trabalho por palavra e, com isso, boa parte da velocidade.
Três modelos MoE
Arquivo Q4, conversas curtas, num Mac ou PC com 32 GB ou mais (8 GB de reserva; máquinas menores reservam menos). Estimativas de planejamento em GB inteiros.
| Modelo | Total (B) | Ativos (B) | Memória pelo total (GB) | Se planejado pelos ativos (GB) |
|---|---|---|---|---|
| Qwen3.5 35B A3B | 35 | 3 | 35 | 11 |
| Nemotron 3 Super 120B A12B | 120 | 12 | 98 | 17 |
| Ling 3.0 Flash | 124 | 5,1 | 101 | 12 |
Contagens conforme publicadas na ficha de cada modelo: (Qwen3.5 35B A3B, revisado em 30 de set. de 2026) · (Nemotron 3 Super 120B A12B, revisado em 30 de set. de 2026) · (Ling 3.0 Flash, revisado em 30 de set. de 2026)
Menos trabalho por palavra
Cada palavra lê da memória os pesos ativos, não todos, então o Qwen3.5 35B A3B faz por palavra mais ou menos o trabalho de um modelo 3B, mas ocupa 35B na memória. O site não estima velocidade: as páginas de hardware mostram tokens por segundo só quando alguém mediu aquela máquina exata (caber não é velocidade).
Lendo “A3B”
Muitos publicadores colocam os dois números no nome: em “Qwen3.5 35B A3B”, 35B é o total e A3B quer dizer cerca de 3B ativos. Quando o nome tem um número só, o card do modelo diz se ele é denso ou MoE. Neste site, as páginas de modelo mostram as duas contagens e planejam a memória pelo total.