Mistral Small 3.2 24B
Mistral · mistralai/Mistral-Small-3.2-24B-Instruct-2506
Arquivo Q4 de 14,3 GB (Q4_K_M) · roda bem a partir de 24 GB · Licença dos pesos: Apache 2.0
Qualidade
- LMArena · texto · pontuação
- 1.356 ± 5Intervalo de confiança 1.351–1.361 · 17.454 votos · posição 212 da rodada · O Arena lista Mistral Small 3.2 (2506), antes sob o nome de API da Mistral, mistral-small-2506; a ficha oficial da Mistral para o Mistral Small 3.2 (versão 25.06) dá esse nome de API e estes pesos abertosLMArena 2026-10-22 · CC BY 4.0
Sem resultado em LiveBench 2026-06-25 Sem resultado no LiveBench 2026-06-25
Informado pelo publicador
- Wildbench v2
- 65,33%Instruction Following / Chat / Tone
- Arena Hard v2
- 43,1%Instruction Following / Chat / Tone
- IF (Internal; accuracy)
- 84,78%Instruction Following / Chat / Tone
- Infinite Generations (Internal; Lower is better)
- 1,29%Infinite Generations
- MMLU
- 80,50%STEM
- MMLU Pro (5-shot CoT)
- 69,06%STEM · 5-shot
- MATH
- 69,42%STEM
- GPQA Main (5-shot CoT)
- 44,22%STEM · 5-shot
Todos os resultados informados
Valores como impressos na ficha, com a configuração do próprio publicador (seção da ficha: Benchmark Results › Text › Instruction Following / Chat / Tone; Benchmark Results › Text › Infinite Generations); coluna “Small 3.2 24B Instruct”. Não comparáveis entre publicadores e fora de qualquer ranking. Ficha do modelo
Rodar
Rodar
Arquivo Q4_K_M · 14,3 GB · unsloth/Mistral-Small-3.2-24B-Instruct-2506-GGUF · O que é Q4?
Medido 19–101 tok/s · Q4_K_M · 6 máquinas · Local LLM Advisor · todas as linhas
ollama run hf.co/unsloth/Mistral-Small-3.2-24B-Instruct-2506-GGUF:Q4_K_M- Instale o Ollama
- Rode o comando acima
- Pergunte:
Explique o que é a janela de contexto, em duas frases.
Roda em
Cabe na memória rápida 48
A estimativa de planejamento cabe na memória que o modelo usa rápido: a VRAM da placa de vídeo, ou a memória unificada dentro da fatia de GPU do macOS.
Mostrar todos os 48
Na memória, fora da parte rápida 45
Dentro da memória da máquina, fora da parte rápida: na placa de vídeo, as camadas que não cabem rodam na CPU a partir da RAM do PC (a RAM informada, ou 32 GB presumidos); no Mac, acima da fatia de GPU padrão do macOS. Não é um número de velocidade.
Mostrar todos os 45
Falta um degrau de memória 9
As mesmas máquinas com o próximo tamanho de memória o comportariam na memória rápida.
Mostrar todos os 9
Mistral Small 3.2 24B é um modelo de texto da Mistral com 24B de parâmetros. Foi lançado em 20 de junho de 2025 e lê até 131.072 tokens de contexto. Os pesos em Q4 com a margem de trabalho somam cerca de 19 GB antes da reserva da máquina; as menores máquinas de referência cuja memória rápida comporta isso são Mac mini M4 · 32 GB unificados (~27 GB com a reserva) e RTX 4090 · 24 GB de VRAM (~21 GB com a reserva). Coletamos 29 arquivos GGUF e MLX para baixar de 3 fontes de publicadores; a fonte GGUF mais baixada é a de unsloth. Ele não tem resultado no LiveBench 2026-06-25. Sua pontuação de texto no LMArena é 1.356 ± 5 (rodada 2026-10-22), uma escala separada de preferência humana.
Perfis de hardware agrupados pela estimativa de planejamento Q4 em cada máquina (GPUs dedicadas reservam 2 GB; memória unificada e do sistema, 25%, de 2 a 8 GB): cabe na memória rápida, fica na memória mas fora da parte rápida (camadas na RAM do PC, ou acima da fatia de GPU do macOS), ou falta um degrau de memória. Cada cartão abre o perfil do hardware. Não é compatibilidade nem velocidade medida.
Nas máquinas de referência
| Onde fica o Q4 | ||||
|---|---|---|---|---|
| Mac mini M2 · 8 GB unificadosMaior que a memóriaNenhum arquivo da escada de quantização do site cabe na memória rápida com 8.192 tokensSem arquivo na coluna anterior | ~21 GB | Maior que a memória | Nenhum arquivo da escada de quantização do site cabe na memória rápida com 8.192 tokens | Sem arquivo na coluna anterior |
| Mac mini M4 · 16 GB unificadosMaior que a memóriaNenhum arquivo da escada de quantização do site cabe na memória rápida com 8.192 tokensSem arquivo na coluna anterior | ~23 GB | Maior que a memória | Nenhum arquivo da escada de quantização do site cabe na memória rápida com 8.192 tokens | Sem arquivo na coluna anterior |
| Mac mini M4 · 24 GB unificadosMaior que a memóriaIQ4_XS8.192 tokens | ~25 GB | Maior que a memória | IQ4_XS | 8.192 tokens |
| Mac mini M4 · 32 GB unificadosCabe na memória rápidaQ5_K_M16.384 tokens | ~27 GB | Cabe na memória rápida | Q5_K_M | 16.384 tokens |
| Mac mini M5 Pro · 64 GB unificadosCabe na memória rápidaQ8_065.536 tokens | ~27 GB | Cabe na memória rápida | Q8_0 | 65.536 tokens |
| Mac Studio M5 Max · 128 GB unificadosCabe na memória rápidaQ8_0131.072 tokens | ~27 GB | Cabe na memória rápida | Q8_0 | 131.072 tokens |
| Mac Studio · M5 Ultra · CPU de 36 núcleos / GPU de 80 núcleos · 512 GB unificadosCabe na memória rápidaQ8_0131.072 tokens | ~27 GB | Cabe na memória rápida | Q8_0 | 131.072 tokens |
| RTX 4060 · 8 GB de VRAMNa memória, fora da parte rápidaNenhum arquivo da escada de quantização do site cabe na memória rápida com 8.192 tokensSem arquivo na coluna anterior | ~21 GB | Na memória, fora da parte rápida | Nenhum arquivo da escada de quantização do site cabe na memória rápida com 8.192 tokens | Sem arquivo na coluna anterior |
| RTX 3060 · 12 GB de VRAMNa memória, fora da parte rápidaNenhum arquivo da escada de quantização do site cabe na memória rápida com 8.192 tokensSem arquivo na coluna anterior | ~21 GB | Na memória, fora da parte rápida | Nenhum arquivo da escada de quantização do site cabe na memória rápida com 8.192 tokens | Sem arquivo na coluna anterior |
| RTX 5080 · 16 GB de VRAMNa memória, fora da parte rápidaNenhum arquivo da escada de quantização do site cabe na memória rápida com 8.192 tokensSem arquivo na coluna anterior | ~21 GB | Na memória, fora da parte rápida | Nenhum arquivo da escada de quantização do site cabe na memória rápida com 8.192 tokens | Sem arquivo na coluna anterior |
| RTX 4090 · 24 GB de VRAMCabe na memória rápidaQ5_K_M8.192 tokens | ~21 GB | Cabe na memória rápida | Q5_K_M | 8.192 tokens |
| RTX 5090 · 32 GB de VRAMCabe na memória rápidaQ6_K32.768 tokens | ~21 GB | Cabe na memória rápida | Q6_K | 32.768 tokens |
| DGX H100 · 8 × 80 GBCabe na memória rápidaQ8_0131.072 tokens | ~35 GB | Cabe na memória rápida | Q8_0 | 131.072 tokens |
A coluna de arquivo usa a escada de quantização do site (Q8_0 a Q3_K_M; MLX de 8 a 4 bits no Mac): o maior arquivo coletado cujo tamanho × 1,2, mais o cache de contexto e a reserva da máquina, cabe na memória rápida. Estimativas de planejamento, não execuções medidas.
Compare Mistral Small 3.2 24B pela ficha do publicador. Não há nota geral no snapshot LiveBench 2026-06-25.
Os pesos em Q4 com a margem de trabalho somam cerca de 19 GB a partir de 24,01B parâmetros declarados, antes da reserva da máquina (Roda em soma a reserva de cada máquina). Não é um mínimo medido; contexto, lote, runtime e quantização mudam o uso real de memória.
Versões para baixar
Arquivos que você pode baixar deste checkpoint. A seção abre na fonte GGUF coletada mais baixada, unsloth, no arquivo Q4_K_M. Num Mac abre na fonte MLX mais baixada. Os tamanhos são os bytes publicados no Hub. O que é Q4?
unsloth
unsloth/Mistral-Small-3.2-24B-Instruct-2506-GGUF · Mistral-Small-3.2-24B-Instruct-2506-Q4_K_M.gguf · 14,3 GB
Rodar este arquivo
ollama run hf.co/unsloth/Mistral-Small-3.2-24B-Instruct-2506-GGUF:Q4_K_Mllama-server -hf unsloth/Mistral-Small-3.2-24B-Instruct-2506-GGUF:Q4_K_Mlms get https://huggingface.co/unsloth/Mistral-Small-3.2-24B-Instruct-2506-GGUF- mlx-lm: O mlx-lm roda repositórios MLX; escolha a versão MLX num Mac
As notas de qualidade desta página pertencem ao checkpoint original; estes arquivos não recebem nota nem ranking. Tamanhos lidos em 2026-10-23 · downloads lidos em 2026-10-17 · comandos: Documentação do Hugging Face Hub: Ollama com qualquer modelo GGUF · README do servidor do llama.cpp (-hf <user>/<model>[:quant]) · Documentação do LM Studio: lms get com uma URL do Hugging Face · README do mlx-lm (mlx_lm.generate --model)
Ajustes, adaptadores e outras versões
- Versões quantizadas
- 72
- Ajustes (fine-tunes)
- 66
- Adaptadores · misturas
- 19 · 4
Ver na árvore de modelos do Hugging Face · lido em 2026-10-23
Versões sem filtro (uncensored, abliterated)
Algumas versões da comunidade removem as recusas de segurança do modelo. A qualidade pode cair, o publicador original não dá suporte, as afirmações sobre elas são de quem as publicou e a licença original continua valendo. Este site nunca as recomenda nem as ranqueia.
4 repositórios derivados têm “uncensored” ou “abliterated” no nome (lido em 2026-10-23).
Velocidade medida
Tokens por segundo por máquina
Saída em tok/s · 6 máquinas · as 5 mais rápidas de 7 · todas as linhas na tabela · O que é um token?
| RTX 5090 | 101,14 ± 0,24 | Q4_K_M | llama.cpp CUDA | unsloth/Mistral-Small-3.2-24B-Instruct-2506-GGUF/Mistral-Small-3.2-24B-Instruct-2506-Q4_K_M.gguf |
|---|---|---|---|---|
| RTX 5090 | 63,85 ± 0,10 | Q8_0 | llama.cpp CUDA | unsloth/Mistral-Small-3.2-24B-Instruct-2506-GGUF/Mistral-Small-3.2-24B-Instruct-2506-Q8_0.gguf |
| RTX 4090 24 GB | 61,56 ± 0,07 | Q4_K_M | llama.cpp CUDA | unsloth/Mistral-Small-3.2-24B-Instruct-2506-GGUF/Mistral-Small-3.2-24B-Instruct-2506-Q4_K_M.gguf |
| RTX 5080 16 GB | 58,64 ± 0,05 | Q4_K_M | llama.cpp CUDA | unsloth/Mistral-Small-3.2-24B-Instruct-2506-GGUF/Mistral-Small-3.2-24B-Instruct-2506-Q4_K_M.gguf |
| RTX 3090 24 GB | 53,15 ± 0,01 | Q4_K_M | llama.cpp CUDA | unsloth/Mistral-Small-3.2-24B-Instruct-2506-GGUF/Mistral-Small-3.2-24B-Instruct-2506-Q4_K_M.gguf |
| RTX 5070 Ti 16 GB | 52,85 ± 0,07 | Q4_K_M | llama.cpp CUDA | unsloth/Mistral-Small-3.2-24B-Instruct-2506-GGUF/Mistral-Small-3.2-24B-Instruct-2506-Q4_K_M.gguf |
| RTX 4060 Ti 16GB | 19,08 ± 0,00 | Q4_K_M | llama.cpp CUDA | unsloth/Mistral-Small-3.2-24B-Instruct-2506-GGUF/Mistral-Small-3.2-24B-Instruct-2506-Q4_K_M.gguf |
Fonte: Dados: Local LLM Advisor (localllmadvisor.com) · CC BY 4.0 (consultado 2026-10-25) · llama.cpp CUDA · llama.cpp commit 3e4dfa8f3 (b11658) · não estimado
Como rodar
A memória necessária acima é a carga Q4 antes da reserva da máquina. Fórmula: parâmetros × 0,625 byte, mais 20% de margem; cada máquina soma então a reserva do sistema: 25% da memória unificada ou do sistema, de 2 a 8 GB, ou 2 GB por GPU em placas dedicadas. Não é VRAM medida nem tamanho do download do checkpoint.
Apenas estimativa de planejamento Q4. Verifique formato do checkpoint, suporte do runtime, cache KV, contexto, tamanho de lote e offload antes de escolher hardware.
Nível da evidência: Apenas estimativa genérica; nenhuma execução reproduzida por este site.
- Amostragem padrão do publicador
- temperature 0,15generation_config.json · lido em 2026-10-23fonte
- Marcadores do template de chat
- — Template de chat não lido para este checkpoint
Antes de baixar
- Confirme o checkpoint exato e a licença vinculada aqui.
- Confirme runtime e precisão ou quantização compatíveis com sua plataforma.
- Reserve memória para contexto, lote e eventuais componentes de mídia além dos pesos.
Detalhes técnicos
O que a fonte e o catálogo guardam deste checkpoint. Campos ausentes ficam de fora, nunca como zero.
- Checkpoint / versão
- mistralai/Mistral-Small-3.2-24B-Instruct-2506
- Tarefa e modalidade
- linguagem e raciocínio · texto + imagem
- Contagem e base
- 24B · contagem de safetensors do Hubmistralai/Mistral-Small-3.2-24B-Instruct-2506 Hugging Face Hub metadata: safetensors parameter count · consultado em 2026-10-17fonte
- Contexto
- 131.072 tokens publicados para este modelomistralai/Mistral-Small-3.2-24B-Instruct-2506 config.json (Hugging Face) · consultado em 2026-10-17fonte
- Arquitetura
- Densemistralai/Mistral-Small-3.2-24B-Instruct-2506 config.json (Hugging Face) · consultado em 2026-10-17fonte
- Lançamento
- Mistral platform-docs-public changelog 2025-06-20 (GitHub) · consultado em 2026-10-17fonte
- Runtime e precisão
- Nenhuma execução local verificada.
- Idiomas
- en, fr, de, es, pt, it, ja, ko, ru, zh, ar, fa, id, ms, ne, pl, ro, sr, sv, tr, uk, vi, hi, bnMetadados do model card · consultado em 2026-10-25fonte
- Uso comercial
- Permitido Apache License 2.0 text (SPDX) · consultado em 2026-10-18texto da licença
Todos os campos guardados
- Revisão conferida
- 95a6d26c4bfb886c58daf9d3f7332c857cb27b43
- Arquitetura
- Mistral3ForConditionalGeneration
- Biblioteca
- vllm
- Modelos base declarados
- mistralai/Mistral-Small-3.1-24B-Base-2503
- Formatos
- safetensors
- Acesso
- Download aberto
- Tipo de publicador
- Oficial
- Repositório criado
- 2025-06-19criação não é o lançamento do modelo
- Repositório atualizado
- 2025-12-22um commit não é data de lançamento
- Downloads no Hub (30 dias) · curtidas
- 181.449 · 640só este repositório · lido em 2026-10-25
- Estado no catálogo
- Config ou pesos encontrados no Hub; sem vínculo de benchmark no inventário
Os 24,0B são a contagem de safetensors do Hugging Face Hub para este repositório, não um número do publicador. A ficha da versão 3.2 não informa a contagem de parâmetros e a descreve como uma atualização menor do Mistral Small 3.1, cuja ficha diz 24 bilhões de parâmetros. A estimativa Q4 desta página é um número genérico de planejamento, não um requisito medido.
Fontes
Identidade e especificações publicadas vêm da página do checkpoint. As notas pertencem à rodada indicada e não medem velocidade no seu computador.
- Checkpoint e ficha do publicador
- Licença dos pesos e termos de uso
- Fonte do benchmark de qualidade · LiveBench 2026-06-25 geral
Catálogo revisado: 2026-10-17. Versão do benchmark: 2026-06-25; snapshot coletado: 2026-09-26.



























































