Pular para o conteúdo
Local AI Wizard
Sua máquina
Tema

Gemma 4 12B

Google · google/gemma-4-12B-it

Texto e chatVisãoÁudioVídeo

Arquivo Q4 de 7,1 GB (Q4_K_M) · roda bem a partir de 12 GB · Licença dos pesos: Apache 2.0

Velocidade medida35–152 tok/sQ4_K_M · 9 máquinas · Local LLM Advisor · todas as linhas
Memória necessária~9 GBPesos Q4 + margem, antes da reserva da máquina
Parâmetros12 Bespecificação do fabricante
Contexto262.144 tokensPublicado para este modelo

Qualidade

Sem resultado em LiveBench 2026-06-25, LMArena 2026-10-22 Sem resultado no LiveBench 2026-06-25 nem no LMArena 2026-10-22

Informado pelo publicador

16 resultados · ficha de Google · lida em 2026-10-25
MMLU Pro
77,2%
AIME 2026 no tools
77,5%
LiveCodeBench v6
72,0%
Codeforces ELO
1.659
GPQA Diamond
78,8%
Tau2 (average over 3)
69,0%
HLE no tools
5,2%
BigBench Extra Hard
53,0%
Todos os resultados informados16
MMMLU
83,4%
MMMU Pro
69,1%Vision
OmniDocBench 1.5 (average edit distance, lower is better)
0,164Vision
MATH-Vision
79,7%Vision
MedXPertQA MM
48,7%Vision
CoVoST
38,5Audio
FLEURS (lower is better)
0,069Audio
MRCR v2 8 needle 128k (average)
43,4%Long Context
Entre os tamanhos do Gemma 416 resultados em comum · mesmo publicador e configuração
Gemma 4: resultados que o publicador informa para cada tamanho na mesma configuração
Benchmark (configuração do publicador)E2BE4B12B26B A4B31B
MMLU Pro60,0%69,4%77,2%82,6%85,2%
AIME 2026 no tools37,5%42,5%77,5%88,3%89,2%
LiveCodeBench v644,0%52,0%72,0%77,1%80,0%
Codeforces ELO6339401.6591.7182.150
GPQA Diamond43,4%58,6%78,8%82,3%84,3%
Tau2 (average over 3)24,5%42,2%69,0%68,2%76,9%
HLE no toolsA ficha deste tamanho não informa este resultado nesta configuraçãoA ficha deste tamanho não informa este resultado nesta configuração5,2%8,7%19,5%
BigBench Extra Hard21,9%33,1%53,0%64,8%74,4%
MMMLU67,4%76,6%83,4%86,3%88,4%
MMMU Pro · Vision44,2%52,6%69,1%73,8%76,9%
OmniDocBench 1.5 (average edit distance, lower is better) · Vision0,2900,1810,1640,1490,131
MATH-Vision · Vision52,4%59,5%79,7%82,4%85,6%
MedXPertQA MM · Vision23,5%28,7%48,7%58,1%61,3%
CoVoST · Audio33,4735,5438,5A ficha deste tamanho não informa este resultado nesta configuraçãoA ficha deste tamanho não informa este resultado nesta configuração
FLEURS (lower is better) · Audio0,090,080,069A ficha deste tamanho não informa este resultado nesta configuraçãoA ficha deste tamanho não informa este resultado nesta configuração
MRCR v2 8 needle 128k (average) · Long Context19,1%25,4%43,4%44,1%66,4%

Valores como impressos na ficha, com a configuração do próprio publicador (seção da ficha: Benchmark Results); coluna “Gemma 4 12B Unified”. Não comparáveis entre publicadores e fora de qualquer ranking. Ficha do modelo

Rodar

Rodar

Arquivo Q4_K_M · 7,1 GB · unsloth/gemma-4-12b-it-GGUF · O que é Q4?

Medido 35–152 tok/s · Q4_K_M · 9 máquinas · Local LLM Advisor · todas as linhas

ollama run hf.co/unsloth/gemma-4-12b-it-GGUF:Q4_K_M
  1. Instale o Ollama
  2. Rode o comando acima
  3. Pergunte: Explique o que é a janela de contexto, em duas frases.

Roda em

Cabe na memória rápida 90

A estimativa de planejamento cabe na memória que o modelo usa rápido: a VRAM da placa de vídeo, ou a memória unificada dentro da fatia de GPU do macOS.

Mostrar todos os 90

Na memória, fora da parte rápida 26

Dentro da memória da máquina, fora da parte rápida: na placa de vídeo, as camadas que não cabem rodam na CPU a partir da RAM do PC (a RAM informada, ou 32 GB presumidos); no Mac, acima da fatia de GPU padrão do macOS. Não é um número de velocidade.

Mostrar todos os 26

Falta um degrau de memória 3

As mesmas máquinas com o próximo tamanho de memória o comportariam na memória rápida.

Gemma 4 12B é um modelo de texto da Google com 12B de parâmetros. Foi lançado em 3 de junho de 2026 e lê até 262.144 tokens de contexto. Os pesos em Q4 com a margem de trabalho somam cerca de 9 GB antes da reserva da máquina; as menores máquinas de referência cuja memória rápida comporta isso são Mac mini M4 · 16 GB unificados (~13 GB com a reserva) e RTX 3060 · 12 GB de VRAM (~11 GB com a reserva). Coletamos 24 arquivos GGUF e MLX para baixar de 2 fontes de publicadores; a fonte GGUF mais baixada é a de unsloth. Ele não tem resultado no LiveBench 2026-06-25, então nenhuma nota de qualidade aparece.

Perfis de hardware agrupados pela estimativa de planejamento Q4 em cada máquina (GPUs dedicadas reservam 2 GB; memória unificada e do sistema, 25%, de 2 a 8 GB): cabe na memória rápida, fica na memória mas fora da parte rápida (camadas na RAM do PC, ou acima da fatia de GPU do macOS), ou falta um degrau de memória. Cada cartão abre o perfil do hardware. Não é compatibilidade nem velocidade medida.

Nas máquinas de referência

Gemma 4 12B nas máquinas de referência
Onde fica o Q4
Mac mini M2 · 8 GB unificadosMaior que a memóriaNenhum arquivo da escada de quantização do site cabe na memória rápida com 8.192 tokensSem arquivo na coluna anterior~11 GBMaior que a memóriaNenhum arquivo da escada de quantização do site cabe na memória rápida com 8.192 tokensSem arquivo na coluna anterior
Mac mini M4 · 16 GB unificadosCabe na memória rápidaQ5_K_MGGUF · 8,4 GB · precisa de ~15 GB65.536 tokens~13 GBCabe na memória rápidaQ5_K_MGGUF · 8,4 GB · precisa de ~15 GB65.536 tokens
Mac mini M4 · 24 GB unificadosCabe na memória rápidaQ8_0GGUF · 12,7 GB · precisa de ~22 GB131.072 tokens~15 GBCabe na memória rápidaQ8_0GGUF · 12,7 GB · precisa de ~22 GB131.072 tokens
Mac mini M4 · 32 GB unificadosCabe na memória rápidaQ8_0GGUF · 12,7 GB · precisa de ~24 GB262.144 tokens~17 GBCabe na memória rápidaQ8_0GGUF · 12,7 GB · precisa de ~24 GB262.144 tokens
Mac mini M5 Pro · 64 GB unificadosCabe na memória rápidaQ8_0GGUF · 12,7 GB · precisa de ~24 GB262.144 tokens~17 GBCabe na memória rápidaQ8_0GGUF · 12,7 GB · precisa de ~24 GB262.144 tokens
Mac Studio M5 Max · 128 GB unificadosCabe na memória rápidaQ8_0GGUF · 12,7 GB · precisa de ~24 GB262.144 tokens~17 GBCabe na memória rápidaQ8_0GGUF · 12,7 GB · precisa de ~24 GB262.144 tokens
Mac Studio · M5 Ultra · CPU de 36 núcleos / GPU de 80 núcleos · 512 GB unificadosCabe na memória rápidaQ8_0GGUF · 12,7 GB · precisa de ~24 GB262.144 tokens~17 GBCabe na memória rápidaQ8_0GGUF · 12,7 GB · precisa de ~24 GB262.144 tokens
RTX 4060 · 8 GB de VRAMNa memória, fora da parte rápidaNenhum arquivo da escada de quantização do site cabe na memória rápida com 8.192 tokensSem arquivo na coluna anterior~11 GBNa memória, fora da parte rápidaNenhum arquivo da escada de quantização do site cabe na memória rápida com 8.192 tokensSem arquivo na coluna anterior
RTX 3060 · 12 GB de VRAMCabe na memória rápidaQ4_K_MGGUF · 7,1 GB · precisa de ~12 GB65.536 tokens~11 GBCabe na memória rápidaQ4_K_MGGUF · 7,1 GB · precisa de ~12 GB65.536 tokens
RTX 5080 · 16 GB de VRAMCabe na memória rápidaQ6_KGGUF · 9,8 GB · precisa de ~15 GB65.536 tokens~11 GBCabe na memória rápidaQ6_KGGUF · 9,8 GB · precisa de ~15 GB65.536 tokens
RTX 4090 · 24 GB de VRAMCabe na memória rápidaQ8_0GGUF · 12,7 GB · precisa de ~18 GB262.144 tokens~11 GBCabe na memória rápidaQ8_0GGUF · 12,7 GB · precisa de ~18 GB262.144 tokens
RTX 5090 · 32 GB de VRAMCabe na memória rápidaQ8_0GGUF · 12,7 GB · precisa de ~18 GB262.144 tokens~11 GBCabe na memória rápidaQ8_0GGUF · 12,7 GB · precisa de ~18 GB262.144 tokens
DGX H100 · 8 × 80 GBCabe na memória rápidaQ8_0GGUF · 12,7 GB · precisa de ~32 GB262.144 tokens~25 GBCabe na memória rápidaQ8_0GGUF · 12,7 GB · precisa de ~32 GB262.144 tokens

A coluna de arquivo usa a escada de quantização do site (Q8_0 a Q3_K_M; MLX de 8 a 4 bits no Mac): o maior arquivo coletado cujo tamanho × 1,2, mais o cache de contexto e a reserva da máquina, cabe na memória rápida. Estimativas de planejamento, não execuções medidas.

Planejar outra quantização ou contexto

Considere para

Compare Gemma 4 12B pela ficha do publicador. Não há nota geral no snapshot LiveBench 2026-06-25.

Confira antes

Os pesos em Q4 com a margem de trabalho somam cerca de 9 GB a partir de 11,95B parâmetros declarados, antes da reserva da máquina (Roda em soma a reserva de cada máquina). Não é um mínimo medido; contexto, lote, runtime e quantização mudam o uso real de memória.

Versões para baixar

Arquivos que você pode baixar deste checkpoint. A seção abre na fonte GGUF coletada mais baixada, unsloth, no arquivo Q4_K_M. Num Mac abre na fonte MLX mais baixada. Os tamanhos são os bytes publicados no Hub. O que é Q4?

unsloth

unsloth/gemma-4-12b-it-GGUF · gemma-4-12b-it-Q4_K_M.gguf · 7,1 GB

Rodar este arquivo

ollama run hf.co/unsloth/gemma-4-12b-it-GGUF:Q4_K_M
llama-server -hf unsloth/gemma-4-12b-it-GGUF:Q4_K_M
lms get https://huggingface.co/unsloth/gemma-4-12b-it-GGUF
  • mlx-lm: O mlx-lm roda repositórios MLX; escolha a versão MLX num Mac

As notas de qualidade desta página pertencem ao checkpoint original; estes arquivos não recebem nota nem ranking. Tamanhos lidos em 2026-10-23 · downloads lidos em 2026-10-17 · comandos: Documentação do Hugging Face Hub: Ollama com qualquer modelo GGUF · README do servidor do llama.cpp (-hf <user>/<model>[:quant]) · Documentação do LM Studio: lms get com uma URL do Hugging Face · README do mlx-lm (mlx_lm.generate --model)

Ajustes, adaptadores e outras versões245 ajustes
Versões quantizadas
367
Ajustes (fine-tunes)
245
Adaptadores · misturas
141 · 11

Ver na árvore de modelos do Hugging Face · lido em 2026-10-23

Versões sem filtro (uncensored, abliterated)66

Algumas versões da comunidade removem as recusas de segurança do modelo. A qualidade pode cair, o publicador original não dá suporte, as afirmações sobre elas são de quem as publicou e a licença original continua valendo. Este site nunca as recomenda nem as ranqueia.

66 repositórios derivados têm “uncensored” ou “abliterated” no nome (lido em 2026-10-23).

Velocidade medida

Tokens por segundo por máquina

Saída em tok/s · 9 máquinas · as 5 mais rápidas de 15 · todas as linhas na tabela · O que é um token?

RTX 5090 · Q4_K_M, 152,43 ± 0,68 · Q4_K_M152,4
RTX 5090 · Q8_0, 103,67 ± 0,38 · Q8_0103,7
RTX 4090 24 GB · Q4_K_M, 101,95 ± 0,08 · Q4_K_M102,0
RTX 5080 16 GB · Q4_K_M, 94,8 ± 0,31 · Q4_K_M94,8
RTX 5070 Ti 16 GB · Q4_K_M, 89,15 ± 0,31 · Q4_K_M89,2
Velocidade medida
RTX 5090NVIDIA GeForce RTX 5090 · 32 GB (único tamanho de memória da placa; máquina alugada)152,43 ± 0,68Q4_K_M0 / 128 · Um processo llama-benchllama.cpp CUDAllama.cpp commit 3e4dfa8f3 (b11658)Flash Attention ativadounsloth/gemma-4-12b-it-GGUF/gemma-4-12b-it-Q4_K_M.gguf
RTX 5090NVIDIA GeForce RTX 5090 · 32 GB (único tamanho de memória da placa; máquina alugada)103,67 ± 0,38Q8_00 / 128 · Um processo llama-benchllama.cpp CUDAllama.cpp commit 3e4dfa8f3 (b11658)Flash Attention ativadounsloth/gemma-4-12b-it-GGUF/gemma-4-12b-it-Q8_0.gguf
RTX 4090 24 GBNVIDIA GeForce RTX 4090 · 24 GB (único tamanho de memória da placa; máquina alugada)101,95 ± 0,08Q4_K_M0 / 128 · Um processo llama-benchllama.cpp CUDAllama.cpp commit 3e4dfa8f3 (b11658)Flash Attention ativadounsloth/gemma-4-12b-it-GGUF/gemma-4-12b-it-Q4_K_M.gguf
RTX 5080 16 GBNVIDIA GeForce RTX 5080 · 16 GB (único tamanho de memória da placa; máquina alugada)94,8 ± 0,31Q4_K_M0 / 128 · Um processo llama-benchllama.cpp CUDAllama.cpp commit 3e4dfa8f3 (b11658)Flash Attention ativadounsloth/gemma-4-12b-it-GGUF/gemma-4-12b-it-Q4_K_M.gguf
RTX 5070 Ti 16 GBNVIDIA GeForce RTX 5070 Ti · 16 GB (único tamanho de memória da placa; máquina alugada)89,15 ± 0,31Q4_K_M0 / 128 · Um processo llama-benchllama.cpp CUDAllama.cpp commit 3e4dfa8f3 (b11658)Flash Attention ativadounsloth/gemma-4-12b-it-GGUF/gemma-4-12b-it-Q4_K_M.gguf
RTX 3090 24 GBNVIDIA GeForce RTX 3090 · 24 GB (único tamanho de memória da placa; máquina alugada)86,54 ± 0,16Q4_K_M0 / 128 · Um processo llama-benchllama.cpp CUDAllama.cpp commit 3e4dfa8f3 (b11658)Flash Attention ativadounsloth/gemma-4-12b-it-GGUF/gemma-4-12b-it-Q4_K_M.gguf
RTX 5070 12 GBNVIDIA GeForce RTX 5070 · 12 GB (único tamanho de memória da placa; máquina alugada)70,13 ± 0,02Q4_K_M0 / 128 · Um processo llama-benchllama.cpp CUDAllama.cpp commit 3e4dfa8f3 (b11658)Flash Attention ativadounsloth/gemma-4-12b-it-GGUF/gemma-4-12b-it-Q4_K_M.gguf
RTX 4090 24 GBNVIDIA GeForce RTX 4090 · 24 GB (único tamanho de memória da placa; máquina alugada)64,22 ± 0,09Q8_00 / 128 · Um processo llama-benchllama.cpp CUDAllama.cpp commit 3e4dfa8f3 (b11658)Flash Attention ativadounsloth/gemma-4-12b-it-GGUF/gemma-4-12b-it-Q8_0.gguf
RTX 5080 16 GBNVIDIA GeForce RTX 5080 · 16 GB (único tamanho de memória da placa; máquina alugada)61,81 ± 0,13Q8_00 / 128 · Um processo llama-benchllama.cpp CUDAllama.cpp commit 3e4dfa8f3 (b11658)Flash Attention ativadounsloth/gemma-4-12b-it-GGUF/gemma-4-12b-it-Q8_0.gguf
RTX 4070 12 GBNVIDIA GeForce RTX 4070 · 12 GB (único tamanho de memória da placa; máquina alugada)58,52 ± 0,10Q4_K_M0 / 128 · Um processo llama-benchllama.cpp CUDAllama.cpp commit 3e4dfa8f3 (b11658)Flash Attention ativadounsloth/gemma-4-12b-it-GGUF/gemma-4-12b-it-Q4_K_M.gguf
RTX 5070 Ti 16 GBNVIDIA GeForce RTX 5070 Ti · 16 GB (único tamanho de memória da placa; máquina alugada)58,41 ± 0,18Q8_00 / 128 · Um processo llama-benchllama.cpp CUDAllama.cpp commit 3e4dfa8f3 (b11658)Flash Attention ativadounsloth/gemma-4-12b-it-GGUF/gemma-4-12b-it-Q8_0.gguf
RTX 3090 24 GBNVIDIA GeForce RTX 3090 · 24 GB (único tamanho de memória da placa; máquina alugada)57,24 ± 0,06Q8_00 / 128 · Um processo llama-benchllama.cpp CUDAllama.cpp commit 3e4dfa8f3 (b11658)Flash Attention ativadounsloth/gemma-4-12b-it-GGUF/gemma-4-12b-it-Q8_0.gguf
RTX 3060 12 GBNVIDIA GeForce RTX 3060 · 12 GB (o id do dataset indica 12 GB; máquina alugada)39,71 ± 0,04Q4_K_M0 / 128 · Um processo llama-benchllama.cpp CUDAllama.cpp commit 3e4dfa8f3 (b11658)Flash Attention ativadounsloth/gemma-4-12b-it-GGUF/gemma-4-12b-it-Q4_K_M.gguf
RTX 4060 Ti 16GBNVIDIA GeForce RTX 4060 Ti · 16 GB (o id do dataset indica 16 GB; máquina alugada)35,43 ± 0,03Q4_K_M0 / 128 · Um processo llama-benchllama.cpp CUDAllama.cpp commit 3e4dfa8f3 (b11658)Flash Attention ativadounsloth/gemma-4-12b-it-GGUF/gemma-4-12b-it-Q4_K_M.gguf
RTX 4060 Ti 16GBNVIDIA GeForce RTX 4060 Ti · 16 GB (o id do dataset indica 16 GB; máquina alugada)20,58 ± 0,01Q8_00 / 128 · Um processo llama-benchllama.cpp CUDAllama.cpp commit 3e4dfa8f3 (b11658)Flash Attention ativadounsloth/gemma-4-12b-it-GGUF/gemma-4-12b-it-Q8_0.gguf

Fonte: Dados: Local LLM Advisor (localllmadvisor.com) · CC BY 4.0 (consultado 2026-10-25) · llama.cpp CUDA · llama.cpp commit 3e4dfa8f3 (b11658) · não estimado

Como rodar

A memória necessária acima é a carga Q4 antes da reserva da máquina. Fórmula: parâmetros × 0,625 byte, mais 20% de margem; cada máquina soma então a reserva do sistema: 25% da memória unificada ou do sistema, de 2 a 8 GB, ou 2 GB por GPU em placas dedicadas. Não é VRAM medida nem tamanho do download do checkpoint.

Apenas estimativa de planejamento Q4. Verifique formato do checkpoint, suporte do runtime, cache KV, contexto, tamanho de lote e offload antes de escolher hardware.

Formas documentadas de rodar

Copiado como aparece na fonte vinculada (lida em 2026-10-18); não executado por este site.

Preparação indicada antes pela fonte · Transformers
pip install -U transformers torch accelerate
Transformers · ficha do modelo · Getting Started
from transformers import AutoProcessor, AutoModelForMultimodalLM

MODEL_ID = "google/gemma-4-12B-it"

# Load model
processor = AutoProcessor.from_pretrained(MODEL_ID)
model = AutoModelForMultimodalLM.from_pretrained(
    MODEL_ID,
    dtype="auto",
    device_map="auto"
)
Transformers · ficha do modelo · Getting Started
# Prompt
messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "Write a short joke about saving RAM."},
]

# Process input
inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    add_generation_prompt=True,
    enable_thinking=False
).to(model.device)
input_len = inputs["input_ids"].shape[-1]

# Generate output
outputs = model.generate(**inputs, max_new_tokens=1024)
response = processor.decode(outputs[0][input_len:], skip_special_tokens=False)

# Parse output
processor.parse_response(response, prefix=inputs["input_ids"])

Nível da evidência: Apenas estimativa genérica; nenhuma execução reproduzida por este site.

Amostragem padrão do publicador
temperature 1 · top_p 0,95 · top_k 64generation_config.json · lido em 2026-10-23fonte
Marcadores do template de chat
chamadas de ferramenta · raciocínio (thinking)marcadores encontrados no template, não um teste do recurso · lido em 2026-10-23fonte
Antes de baixar
  1. Confirme o checkpoint exato e a licença vinculada aqui.
  2. Confirme runtime e precisão ou quantização compatíveis com sua plataforma.
  3. Reserve memória para contexto, lote e eventuais componentes de mídia além dos pesos.

Detalhes técnicos

O que a fonte e o catálogo guardam deste checkpoint. Campos ausentes ficam de fora, nunca como zero.

Checkpoint / versão
google/gemma-4-12B-it
Tarefa e modalidade
linguagem e raciocínio · texto + imagem + áudio + vídeo
Contagem e base
12B · especificação do fabricantegoogle/gemma-4-12B-it model card (Hugging Face) · consultado em 2026-10-17fonte
Contexto
262.144 tokens publicados para este modelogoogle/gemma-4-12B-it model card (Hugging Face) · consultado em 2026-10-17fonte
Arquitetura
Densegoogle/gemma-4-12B-it model card (Hugging Face) · consultado em 2026-10-17fonte
Lançamento
Gemma releases | Google AI for Developers · consultado em 2026-10-09fonte secundária
Runtime e precisão
Nenhuma execução local verificada.
Idiomas
140+ idiomas Declaração do publicador · consultado em 2026-10-18fonte
Uso comercial
Permitido Apache License 2.0 text (SPDX) · consultado em 2026-10-18texto da licença
Todos os campos guardados12 campos
Revisão conferida
707f0a3b8a3c7ad586ed01e27eafbad8a27dd0f7
Arquitetura
Gemma4UnifiedForConditionalGeneration
Biblioteca
transformers
Tag de tarefa no Hub
any-to-any
Modelos base declarados
google/gemma-4-12B
Formatos
transformers, safetensors
Acesso
Download aberto
Tipo de publicador
Oficial
Repositório criado
2026-05-23criação não é o lançamento do modelo
Repositório atualizado
2026-07-20um commit não é data de lançamento
Downloads no Hub (30 dias) · curtidas
1.720.062 · 1.690só este repositório · lido em 2026-10-25
Estado no catálogo
Config ou pesos encontrados no Hub; sem vínculo de benchmark no inventário

Fontes

Identidade e especificações publicadas vêm da página do checkpoint. As notas pertencem à rodada indicada e não medem velocidade no seu computador.

Catálogo revisado: 2026-10-17. Versão do benchmark: 2026-06-25; snapshot coletado: 2026-10-18.