Pular para o conteúdo
Local AI Wizard
Sua máquina
Tema

Llama 3.2 3B Instruct

Meta · meta-llama/Llama-3.2-3B-Instruct

Texto e chat

Arquivo Q4 de 2,0 GB (Q4_K_M) · roda bem a partir de 6 GB · Licença dos pesos: Termos do publicador: Llama 3.2

LMArena · texto1.167 ± 8Posição 371 · rodada 2026-10-22 · escala própria
Memória necessária~3 GBPesos Q4 + margem, antes da reserva da máquina
Parâmetros3,21 Bespecificação do fabricante
Contexto128.000 tokensPublicado para este modelo

Qualidade

LMArena · texto · pontuação
1.167 ± 8Intervalo de confiança 1.159–1.175 · 7.936 votos · posição 371 da rodadaLMArena 2026-10-22 · CC BY 4.0

Sem resultado em LiveBench 2026-06-25 Sem resultado no LiveBench 2026-06-25

Informado pelo publicador

22 resultados · ficha de Meta · lida em 2026-10-25
MMLU
63,4Llama 3.2 3B bf16 · Instruction Tuned Models · General
Open-rewrite eval
40,1Llama 3.2 3B bf16 · Instruction Tuned Models · Re-writing
TLDR9+ (test)
19,0Llama 3.2 3B bf16 · Instruction Tuned Models · Summarization
IFEval
77,4Llama 3.2 3B bf16 · Instruction Tuned Models · Instruction following
GSM8K (CoT)
77,7Llama 3.2 3B bf16 · Instruction Tuned Models · Math
MATH (CoT)
48,0Llama 3.2 3B bf16 · Instruction Tuned Models · Math
ARC-C
78,6Llama 3.2 3B bf16 · Instruction Tuned Models · Reasoning
GPQA
32,8Llama 3.2 3B bf16 · Instruction Tuned Models · Reasoning
Todos os resultados informados22
Hellaswag
69,8Llama 3.2 3B bf16 · Instruction Tuned Models · Reasoning
BFCL V2
67,0Llama 3.2 3B bf16 · Instruction Tuned Models · Tool Use
Nexus
34,3Llama 3.2 3B bf16 · Instruction Tuned Models · Tool Use
InfiniteBench/En.QA
19,8Llama 3.2 3B bf16 · Instruction Tuned Models · Long Context
InfiniteBench/En.MC
63,3Llama 3.2 3B bf16 · Instruction Tuned Models · Long Context
NIH/Multi-needle
84,7Llama 3.2 3B bf16 · Instruction Tuned Models · Long Context
MGSM (CoT)
58,2Llama 3.2 3B bf16 · Instruction Tuned Models · Multilingual
MMLU · Portuguese (5-shot, macro_avg/acc)
54,5Llama 3.2 3B · Multilingual Benchmarks · General · 5-shot
MMLU · Spanish (5-shot, macro_avg/acc)
55,1Llama 3.2 3B · Multilingual Benchmarks · General · 5-shot
MMLU · Italian (5-shot, macro_avg/acc)
53,8Llama 3.2 3B · Multilingual Benchmarks · General · 5-shot
MMLU · German (5-shot, macro_avg/acc)
53,3Llama 3.2 3B · Multilingual Benchmarks · General · 5-shot
MMLU · French (5-shot, macro_avg/acc)
54,6Llama 3.2 3B · Multilingual Benchmarks · General · 5-shot
MMLU · Hindi (5-shot, macro_avg/acc)
43,3Llama 3.2 3B · Multilingual Benchmarks · General · 5-shot
MMLU · Thai (5-shot, macro_avg/acc)
44,5Llama 3.2 3B · Multilingual Benchmarks · General · 5-shot
Entre os tamanhos do Llama 3.222 resultados em comum · mesmo publicador e configuração
Llama 3.2: resultados que o publicador informa para cada tamanho na mesma configuração
Benchmark (configuração do publicador)1B Instruct3B Instruct
MMLU · General49,363,4
Open-rewrite eval · Re-writing41,640,1
TLDR9+ (test) · Summarization16,819,0
IFEval · Instruction following59,577,4
GSM8K (CoT) · Math44,477,7
MATH (CoT) · Math30,648,0
ARC-C · Reasoning59,478,6
GPQA · Reasoning27,232,8
Hellaswag · Reasoning41,269,8
BFCL V2 · Tool Use25,767,0
Nexus · Tool Use13,534,3
InfiniteBench/En.QA · Long Context20,319,8
InfiniteBench/En.MC · Long Context38,063,3
NIH/Multi-needle · Long Context75,084,7
MGSM (CoT) · Multilingual24,558,2
MMLU · Portuguese (5-shot, macro_avg/acc) · General · 5-shot39,854,5
MMLU · Spanish (5-shot, macro_avg/acc) · General · 5-shot41,555,1
MMLU · Italian (5-shot, macro_avg/acc) · General · 5-shot39,853,8
MMLU · German (5-shot, macro_avg/acc) · General · 5-shot39,253,3
MMLU · French (5-shot, macro_avg/acc) · General · 5-shot40,554,6
MMLU · Hindi (5-shot, macro_avg/acc) · General · 5-shot33,543,3
MMLU · Thai (5-shot, macro_avg/acc) · General · 5-shot34,744,5

Valores como impressos na ficha, com a configuração do próprio publicador (seção da ficha: Benchmarks - English Text › Instruction Tuned Models; Benchmarks - English Text › Multilingual Benchmarks). Não comparáveis entre publicadores e fora de qualquer ranking. Ficha do modelo

Rodar

Rodar

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Q4_K_M
  1. Instale o Ollama
  2. Rode o comando acima
  3. Pergunte: Explique o que é a janela de contexto, em duas frases.

Roda em

Cabe na memória rápida 118

A estimativa de planejamento cabe na memória que o modelo usa rápido: a VRAM da placa de vídeo, ou a memória unificada dentro da fatia de GPU do macOS.

Mostrar todos os 118

Na memória, fora da parte rápida 1

Dentro da memória da máquina, fora da parte rápida: na placa de vídeo, as camadas que não cabem rodam na CPU a partir da RAM do PC (a RAM informada, ou 32 GB presumidos); no Mac, acima da fatia de GPU padrão do macOS. Não é um número de velocidade.

Llama 3.2 3B Instruct é um modelo de texto da Meta com 3,2B de parâmetros. Foi lançado em 25 de setembro de 2024 e lê até 128.000 tokens de contexto. Os pesos em Q4 com a margem de trabalho somam cerca de 3 GB antes da reserva da máquina; as menores máquinas de referência cuja memória rápida comporta isso são Mac mini M2 · 8 GB unificados (~5 GB com a reserva) e RTX 4060 · 8 GB de VRAM (~5 GB com a reserva). Coletamos 17 arquivos GGUF e MLX para baixar de 2 fontes de publicadores; a fonte GGUF mais baixada é a de bartowski. Ele não tem resultado no LiveBench 2026-06-25. Sua pontuação de texto no LMArena é 1.167 ± 8 (rodada 2026-10-22), uma escala separada de preferência humana.

Perfis de hardware agrupados pela estimativa de planejamento Q4 em cada máquina (GPUs dedicadas reservam 2 GB; memória unificada e do sistema, 25%, de 2 a 8 GB): cabe na memória rápida, fica na memória mas fora da parte rápida (camadas na RAM do PC, ou acima da fatia de GPU do macOS), ou falta um degrau de memória. Cada cartão abre o perfil do hardware. Não é compatibilidade nem velocidade medida.

Nas máquinas de referência

Llama 3.2 3B Instruct nas máquinas de referência
Onde fica o Q4
Mac mini M2 · 8 GB unificadosCabe na memória rápidaQ8_0GGUF · 3,4 GB · precisa de ~8 GB16.384 tokens~5 GBCabe na memória rápidaQ8_0GGUF · 3,4 GB · precisa de ~8 GB16.384 tokens
Mac mini M4 · 16 GB unificadosCabe na memória rápidaQ8_0GGUF · 3,4 GB · precisa de ~10 GB65.536 tokens~7 GBCabe na memória rápidaQ8_0GGUF · 3,4 GB · precisa de ~10 GB65.536 tokens
Mac mini M4 · 24 GB unificadosCabe na memória rápidaQ8_0GGUF · 3,4 GB · precisa de ~12 GB65.536 tokens~9 GBCabe na memória rápidaQ8_0GGUF · 3,4 GB · precisa de ~12 GB65.536 tokens
Mac mini M4 · 32 GB unificadosCabe na memória rápidaQ8_0GGUF · 3,4 GB · precisa de ~14 GB131.072 tokens~11 GBCabe na memória rápidaQ8_0GGUF · 3,4 GB · precisa de ~14 GB131.072 tokens
Mac mini M5 Pro · 64 GB unificadosCabe na memória rápidaQ8_0GGUF · 3,4 GB · precisa de ~14 GB131.072 tokens~11 GBCabe na memória rápidaQ8_0GGUF · 3,4 GB · precisa de ~14 GB131.072 tokens
Mac Studio M5 Max · 128 GB unificadosCabe na memória rápidaQ8_0GGUF · 3,4 GB · precisa de ~14 GB131.072 tokens~11 GBCabe na memória rápidaQ8_0GGUF · 3,4 GB · precisa de ~14 GB131.072 tokens
Mac Studio · M5 Ultra · CPU de 36 núcleos / GPU de 80 núcleos · 512 GB unificadosCabe na memória rápidaQ8_0GGUF · 3,4 GB · precisa de ~14 GB131.072 tokens~11 GBCabe na memória rápidaQ8_0GGUF · 3,4 GB · precisa de ~14 GB131.072 tokens
RTX 4060 · 8 GB de VRAMCabe na memória rápidaQ8_0GGUF · 3,4 GB · precisa de ~8 GB16.384 tokens~5 GBCabe na memória rápidaQ8_0GGUF · 3,4 GB · precisa de ~8 GB16.384 tokens
RTX 3060 · 12 GB de VRAMCabe na memória rápidaQ8_0GGUF · 3,4 GB · precisa de ~8 GB32.768 tokens~5 GBCabe na memória rápidaQ8_0GGUF · 3,4 GB · precisa de ~8 GB32.768 tokens
RTX 5080 · 16 GB de VRAMCabe na memória rápidaQ8_0GGUF · 3,4 GB · precisa de ~8 GB65.536 tokens~5 GBCabe na memória rápidaQ8_0GGUF · 3,4 GB · precisa de ~8 GB65.536 tokens
RTX 4090 · 24 GB de VRAMCabe na memória rápidaQ8_0GGUF · 3,4 GB · precisa de ~8 GB131.072 tokens~5 GBCabe na memória rápidaQ8_0GGUF · 3,4 GB · precisa de ~8 GB131.072 tokens
RTX 5090 · 32 GB de VRAMCabe na memória rápidaQ8_0GGUF · 3,4 GB · precisa de ~8 GB131.072 tokens~5 GBCabe na memória rápidaQ8_0GGUF · 3,4 GB · precisa de ~8 GB131.072 tokens
DGX H100 · 8 × 80 GBCabe na memória rápidaQ8_0GGUF · 3,4 GB · precisa de ~22 GB131.072 tokens~19 GBCabe na memória rápidaQ8_0GGUF · 3,4 GB · precisa de ~22 GB131.072 tokens

A coluna de arquivo usa a escada de quantização do site (Q8_0 a Q3_K_M; MLX de 8 a 4 bits no Mac): o maior arquivo coletado cujo tamanho × 1,2, mais o cache de contexto e a reserva da máquina, cabe na memória rápida. Estimativas de planejamento, não execuções medidas.

Planejar outra quantização ou contexto

Considere para

Compare Llama 3.2 3B Instruct pela ficha do publicador. Não há nota geral no snapshot LiveBench 2026-06-25.

Confira antes

Os pesos em Q4 com a margem de trabalho somam cerca de 3 GB a partir de 3,21B parâmetros declarados, antes da reserva da máquina (Roda em soma a reserva de cada máquina). Não é um mínimo medido; contexto, lote, runtime e quantização mudam o uso real de memória.

Versões para baixar

Arquivos que você pode baixar deste checkpoint. A seção abre na fonte GGUF coletada mais baixada, bartowski, no arquivo Q4_K_M. Num Mac abre na fonte MLX mais baixada. Os tamanhos são os bytes publicados no Hub. O que é Q4?

bartowski

bartowski/Llama-3.2-3B-Instruct-GGUF · Llama-3.2-3B-Instruct-Q4_K_M.gguf · 2,0 GB

Rodar este arquivo

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Q4_K_M
llama-server -hf bartowski/Llama-3.2-3B-Instruct-GGUF:Q4_K_M
lms get https://huggingface.co/bartowski/Llama-3.2-3B-Instruct-GGUF
  • mlx-lm: O mlx-lm roda repositórios MLX; escolha a versão MLX num Mac

As notas de qualidade desta página pertencem ao checkpoint original; estes arquivos não recebem nota nem ranking. Tamanhos lidos em 2026-10-23 · downloads lidos em 2026-10-17 · comandos: Documentação do Hugging Face Hub: Ollama com qualquer modelo GGUF · README do servidor do llama.cpp (-hf <user>/<model>[:quant]) · Documentação do LM Studio: lms get com uma URL do Hugging Face · README do mlx-lm (mlx_lm.generate --model)

Ajustes, adaptadores e outras versões2.040 ajustes
Versões quantizadas
550
Ajustes (fine-tunes)
2.040
Adaptadores · misturas
876 · 29

Ver na árvore de modelos do Hugging Face · lido em 2026-10-23

Versões sem filtro (uncensored, abliterated)18

Algumas versões da comunidade removem as recusas de segurança do modelo. A qualidade pode cair, o publicador original não dá suporte, as afirmações sobre elas são de quem as publicou e a licença original continua valendo. Este site nunca as recomenda nem as ranqueia.

18 repositórios derivados têm “uncensored” ou “abliterated” no nome (lido em 2026-10-23).

Velocidade medida

Nenhuma medição publicada para este checkpoint

Tokens por segundo só aparecem quando uma fonte os publica com hardware, build e configuração. Nunca são estimados.

Como rodar

A memória necessária acima é a carga Q4 antes da reserva da máquina. Fórmula: parâmetros × 0,625 byte, mais 20% de margem; cada máquina soma então a reserva do sistema: 25% da memória unificada ou do sistema, de 2 a 8 GB, ou 2 GB por GPU em placas dedicadas. Não é VRAM medida nem tamanho do download do checkpoint.

Apenas estimativa de planejamento Q4. Verifique formato do checkpoint, suporte do runtime, cache KV, contexto, tamanho de lote e offload antes de escolher hardware.

Nível da evidência: Apenas estimativa genérica; nenhuma execução reproduzida por este site.

Amostragem padrão do publicador
temperature 0,6 · top_p 0,9generation_config.json · lido em 2026-10-23fonte
Marcadores do template de chat
chamadas de ferramenta · sem marcadores de raciocíniomarcadores encontrados no template, não um teste do recurso · lido em 2026-10-23fonte
Antes de baixar
  1. Confirme o checkpoint exato e a licença vinculada aqui.
  2. Confirme runtime e precisão ou quantização compatíveis com sua plataforma.
  3. Reserve memória para contexto, lote e eventuais componentes de mídia além dos pesos.

Detalhes técnicos

O que a fonte e o catálogo guardam deste checkpoint. Campos ausentes ficam de fora, nunca como zero.

Tarefa e modalidade
linguagem e raciocínio · texto
Contagem e base
3,21B · especificação do fabricantemeta-llama/llama-models Llama 3.2 MODEL_CARD.md (GitHub, publisher's own card; the Hub repo is gated) · consultado em 2026-10-17fonte
Contexto
128.000 tokens publicados para este modelometa-llama/llama-models Llama 3.2 MODEL_CARD.md (GitHub, publisher's own card; the Hub repo is gated) · consultado em 2026-10-17fonte
Arquitetura
Densemeta-llama/llama-models Llama 3.2 MODEL_CARD.md (GitHub, publisher's own card; the Hub repo is gated) · consultado em 2026-10-17fonte
Lançamento
Introducing Llama 3.2 (Meta AI blog), September 25, 2024: 1B and 3B models available for download · consultado em 2026-10-10fonte
Runtime e precisão
Nenhuma execução local verificada.
Idiomas
en, de, fr, it, pt, hi, es, thMetadados do model card · consultado em 2026-10-25fonte
Uso comercial
Permitido com condições Acima de 700 mi de usuários mensais exige licença da Meta; exibir "Built with Llama"; versões multimodais não são licenciadas a pessoas ou empresas sediadas na UE (Política de Uso Aceitável) · Llama 3.2 Community License (meta-llama/llama-models) · consultado em 2026-10-18texto da licença
Todos os campos guardados12 campos
Revisão conferida
0cb88a4f764b7a12671c53f0838cd831a0843b95
Arquitetura
LlamaForCausalLM
Biblioteca
transformers
Tag de tarefa no Hub
text-generation
Formatos
safetensors, pt
Acesso
Restrito (manual)
Tipo de publicador
Oficial
Evidência de tensores
floating-tensor-elements · 3,21B · BF16conferido em 2026-09-26
Repositório criado
2024-09-18criação não é o lançamento do modelo
Repositório atualizado
2024-10-24um commit não é data de lançamento
Downloads no Hub (30 dias) · curtidas
1.106.217 · 2.875só este repositório · lido em 2026-10-25
Estado no catálogo
Config ou pesos encontrados no Hub; sem vínculo de benchmark no inventário

Fontes

Identidade e especificações publicadas vêm da página do checkpoint. As notas pertencem à rodada indicada e não medem velocidade no seu computador.

Catálogo revisado: 2026-10-17. Versão do benchmark: 2026-06-25; snapshot coletado: 2026-09-26.