Pular para o conteúdo
Local AI Wizard
Sua máquina
Tema

Smaug Mini

Abacus AI · abacusai/Smaug-Mini

Arquivo Q4 de 16,5 GB (Q4_K_M) · roda bem a partir de 24 GB · Licença dos pesos: Apache 2.0

LiveBench · geral76,9 / 100#7 de 22 modelos abertos · 2026-06-25
Memória necessária~21 GBPesos Q4 + margem, antes da reserva da máquina
Parâmetros27 Bespecificação do fabricante · 27B ativos
Contexto262.144 tokensPublicado para este modelo

Qualidade

Qualidade · Geral

LiveBench 2026-06-25 · 0 a 100 · maior é melhor · este modelo em destaque, #7 de 22

  • Cor = publicador
  • Memória em revisão

Fonte: LiveBench 2026-06-25 · coletado 2026-09-26 · modelos abertos sem nota não aparecem (sem nota ≠ 0)

Sem resultado em LMArena 2026-10-22 Sem resultado no LMArena 2026-10-22

Categorias do LiveBench

Média deste modelo por categoria · 0 a 100

82,8RaciocínioRaciocínio75,4CódigoCódigo60,8Código com agentesCódigo com agentes89,7MatemáticaMatemática78,8Análise de dadosAnálise de dados77,0LinguagemLinguagem73,9Seguir instruçõesSeguir instruções

Fonte: LiveBench 2026-06-25 · coletado 2026-09-26 · modelos abertos sem nota não aparecem (sem nota ≠ 0)

Informado pelo publicador

9 resultados · ficha de Abacus AI · lida em 2026-10-25
AutomationBench
41,8
JobBench
50,5
LiveBench agentic coding
60,8
NL2Repo-Bench
55,8
GPQA-diamond
89,4
HLE
34,2
IFBench
82,0
LiveBench overall
76,9
Todos os resultados informados9
MMMU-Pro
75,6

Valores como impressos na ficha, com a configuração do próprio publicador (seção da ficha: 3. Evaluation › Smaug-Mini vs its base); coluna “Smaug-Mini”. Não comparáveis entre publicadores e fora de qualquer ranking. Ficha do modelo

Rodar

Rodar

Arquivo Q4_K_M · 16,5 GB · prithivMLmods/Smaug-Mini-GGUF · O que é Q4?

ollama run hf.co/prithivMLmods/Smaug-Mini-GGUF:Q4_K_M
  1. Instale o Ollama
  2. Rode o comando acima
  3. Pergunte: Explique o que é a janela de contexto, em duas frases.

Qualidade × memória

Qualidade × memória

LiveBench 2026-06-25 geral vs. memória de planejamento Q4 (escala log) · 18 modelos abertos

  • Este modelo
  • Cor = publicador
60708081632641282565121.0242.0484.096Memória necessária · Q4 · só o modelo (GB, log)LiveBenchSmaug AgenticQwen3.8 MaxDeepSeek V4 Pro · 0813Smaug Mini

Memória = o número do próprio modelo: parâmetros × 0,625 byte + 20% de margem, antes da reserva de qualquer máquina; com uma máquina escolhida, o total nela com a reserva (25% da memória, de 2 a 8 GB; 2 GB por placa de vídeo). Estimativa, não VRAM medida. LiveBench 2026-06-25

Roda em

Cabe na memória rápida 48

A estimativa de planejamento cabe na memória que o modelo usa rápido: a VRAM da placa de vídeo, ou a memória unificada dentro da fatia de GPU do macOS.

Mostrar todos os 48

Na memória, fora da parte rápida 45

Dentro da memória da máquina, fora da parte rápida: na placa de vídeo, as camadas que não cabem rodam na CPU a partir da RAM do PC (a RAM informada, ou 32 GB presumidos); no Mac, acima da fatia de GPU padrão do macOS. Não é um número de velocidade.

Mostrar todos os 45

Falta um degrau de memória 9

As mesmas máquinas com o próximo tamanho de memória o comportariam na memória rápida.

Mostrar todos os 9

Smaug Mini é um modelo de texto da Abacus AI com 27B de parâmetros. Lê até 262.144 tokens de contexto. Os pesos em Q4 com a margem de trabalho somam cerca de 21 GB antes da reserva da máquina; as menores máquinas de referência cuja memória rápida comporta isso são Mac mini M4 · 32 GB unificados (~29 GB com a reserva) e RTX 4090 · 24 GB de VRAM (~23 GB com a reserva). Coletamos 3 arquivos GGUF para baixar de um publicador; a fonte GGUF mais baixada é a de prithivMLmods (905 de downloads no Hub). Sua nota geral no LiveBench 2026-06-25 é 76,9.

Perfis de hardware agrupados pela estimativa de planejamento Q4 em cada máquina (GPUs dedicadas reservam 2 GB; memória unificada e do sistema, 25%, de 2 a 8 GB): cabe na memória rápida, fica na memória mas fora da parte rápida (camadas na RAM do PC, ou acima da fatia de GPU do macOS), ou falta um degrau de memória. Cada cartão abre o perfil do hardware. Não é compatibilidade nem velocidade medida.

Nas máquinas de referência

Smaug Mini nas máquinas de referência
Onde fica o Q4
Mac mini M2 · 8 GB unificadosMaior que a memóriaNenhum arquivo da escada de quantização do site cabe na memória rápida com 8.192 tokensSem arquivo na coluna anterior~23 GBMaior que a memóriaNenhum arquivo da escada de quantização do site cabe na memória rápida com 8.192 tokensSem arquivo na coluna anterior
Mac mini M4 · 16 GB unificadosMaior que a memóriaNenhum arquivo da escada de quantização do site cabe na memória rápida com 8.192 tokensSem arquivo na coluna anterior~25 GBMaior que a memóriaNenhum arquivo da escada de quantização do site cabe na memória rápida com 8.192 tokensSem arquivo na coluna anterior
Mac mini M4 · 24 GB unificadosMaior que a memóriaNenhum arquivo da escada de quantização do site cabe na memória rápida com 8.192 tokensSem arquivo na coluna anterior~27 GBMaior que a memóriaNenhum arquivo da escada de quantização do site cabe na memória rápida com 8.192 tokensSem arquivo na coluna anterior
Mac mini M4 · 32 GB unificadosCabe na memória rápidaQ5_K_MGGUF · 19,2 GB · precisa de ~32 GB8.192 tokens~29 GBCabe na memória rápidaQ5_K_MGGUF · 19,2 GB · precisa de ~32 GB8.192 tokens
Mac mini M5 Pro · 64 GB unificadosCabe na memória rápidaQ5_K_MGGUF · 19,2 GB · precisa de ~32 GB262.144 tokens~29 GBCabe na memória rápidaQ5_K_MGGUF · 19,2 GB · precisa de ~32 GB262.144 tokens
Mac Studio M5 Max · 128 GB unificadosCabe na memória rápidaQ5_K_MGGUF · 19,2 GB · precisa de ~32 GB262.144 tokens~29 GBCabe na memória rápidaQ5_K_MGGUF · 19,2 GB · precisa de ~32 GB262.144 tokens
Mac Studio · M5 Ultra · CPU de 36 núcleos / GPU de 80 núcleos · 512 GB unificadosCabe na memória rápidaQ5_K_MGGUF · 19,2 GB · precisa de ~32 GB262.144 tokens~29 GBCabe na memória rápidaQ5_K_MGGUF · 19,2 GB · precisa de ~32 GB262.144 tokens
RTX 4060 · 8 GB de VRAMNa memória, fora da parte rápidaNenhum arquivo da escada de quantização do site cabe na memória rápida com 8.192 tokensSem arquivo na coluna anterior~23 GBNa memória, fora da parte rápidaNenhum arquivo da escada de quantização do site cabe na memória rápida com 8.192 tokensSem arquivo na coluna anterior
RTX 3060 · 12 GB de VRAMNa memória, fora da parte rápidaNenhum arquivo da escada de quantização do site cabe na memória rápida com 8.192 tokensSem arquivo na coluna anterior~23 GBNa memória, fora da parte rápidaNenhum arquivo da escada de quantização do site cabe na memória rápida com 8.192 tokensSem arquivo na coluna anterior
RTX 5080 · 16 GB de VRAMNa memória, fora da parte rápidaNenhum arquivo da escada de quantização do site cabe na memória rápida com 8.192 tokensSem arquivo na coluna anterior~23 GBNa memória, fora da parte rápidaNenhum arquivo da escada de quantização do site cabe na memória rápida com 8.192 tokensSem arquivo na coluna anterior
RTX 4090 · 24 GB de VRAMCabe na memória rápidaQ4_K_MGGUF · 16,5 GB · precisa de ~23 GB16.384 tokens~23 GBCabe na memória rápidaQ4_K_MGGUF · 16,5 GB · precisa de ~23 GB16.384 tokens
RTX 5090 · 32 GB de VRAMCabe na memória rápidaQ5_K_MGGUF · 19,2 GB · precisa de ~26 GB65.536 tokens~23 GBCabe na memória rápidaQ5_K_MGGUF · 19,2 GB · precisa de ~26 GB65.536 tokens
DGX H100 · 8 × 80 GBCabe na memória rápidaQ5_K_MGGUF · 19,2 GB · precisa de ~40 GB262.144 tokens~37 GBCabe na memória rápidaQ5_K_MGGUF · 19,2 GB · precisa de ~40 GB262.144 tokens

A coluna de arquivo usa a escada de quantização do site (Q8_0 a Q3_K_M; MLX de 8 a 4 bits no Mac): o maior arquivo coletado cujo tamanho × 1,2, mais o cache de contexto e a reserva da máquina, cabe na memória rápida. Estimativas de planejamento, não execuções medidas.

Planejar outra quantização ou contexto

Considere para

Considere este ajuste do Qwen3.8-27B voltado a agentes quando quiser comparar uso de ferramentas com o modelo base.

Confira antes

O publicador documenta execução em vLLM e ajustes para agentes, mas este site não verificou um mínimo de hardware nem reproduziu os testes.

Versões para baixar

Arquivos que você pode baixar deste checkpoint. A seção abre na fonte GGUF coletada mais baixada, prithivMLmods (905 de downloads no Hub), no arquivo Q4_K_M. Os tamanhos são os bytes publicados no Hub. O que é Q4?

GGUF · o único formato coletado

prithivMLmods · 905 downloads

Envio da comunidade fora da lista de publicadores: No allowlisted publisher ships a GGUF or MLX build of abacusai/Smaug-Mini (Hub search base_model:quantized:abacusai/Smaug-Mini, 2026-10-17); this is the only GGUF with named quants and its README front matter declares base_model: abacusai/Smaug-Mini.

prithivMLmods/Smaug-Mini-GGUF · Smaug-Mini.Q4_K_M.gguf · 16,5 GB

Rodar este arquivo

ollama run hf.co/prithivMLmods/Smaug-Mini-GGUF:Q4_K_M
llama-server -hf prithivMLmods/Smaug-Mini-GGUF:Q4_K_M
lms get https://huggingface.co/prithivMLmods/Smaug-Mini-GGUF
  • mlx-lm: O mlx-lm roda repositórios MLX; escolha a versão MLX num Mac

As notas de qualidade desta página pertencem ao checkpoint original; estes arquivos não recebem nota nem ranking. Tamanhos lidos em 2026-10-23 · downloads lidos em 2026-10-17 · comandos: Documentação do Hugging Face Hub: Ollama com qualquer modelo GGUF · README do servidor do llama.cpp (-hf <user>/<model>[:quant]) · Documentação do LM Studio: lms get com uma URL do Hugging Face · README do mlx-lm (mlx_lm.generate --model)

Ajustes, adaptadores e outras versões0 ajustes
Versões quantizadas
6
Ajustes (fine-tunes)
0
Adaptadores · misturas
0 · 1

Ver na árvore de modelos do Hugging Face · lido em 2026-10-23

Versões sem filtro (uncensored, abliterated)0

Algumas versões da comunidade removem as recusas de segurança do modelo. A qualidade pode cair, o publicador original não dá suporte, as afirmações sobre elas são de quem as publicou e a licença original continua valendo. Este site nunca as recomenda nem as ranqueia.

0 repositórios derivados têm “uncensored” ou “abliterated” no nome (lido em 2026-10-23).

Velocidade medida

Nenhuma medição publicada para este checkpoint

Tokens por segundo só aparecem quando uma fonte os publica com hardware, build e configuração. Nunca são estimados.

Como rodar

~21 GB de pesos Q4 com margem de trabalho, antes da reserva da máquina. Fórmula: parâmetros × 0,625 byte, mais 20% de margem; cada máquina soma então a reserva do sistema: 25% da memória unificada ou do sistema, de 2 a 8 GB, ou 2 GB por GPU em placas dedicadas. Não é VRAM medida nem tamanho do download do checkpoint.

Apenas estimativa de planejamento Q4. Verifique formato do checkpoint, suporte do runtime, cache KV, contexto, tamanho de lote e offload antes de escolher hardware.

Exemplo do publicador

vLLM · Comando de referência do publicador para agentes; hardware necessário não foi especificado nem testado aqui. instruções de execução
vllm serve abacusai/Smaug-Mini --max-model-len 262144 --reasoning-parser qwen3 --enable-auto-tool-choice --tool-call-parser qwen3_coder

Nível da evidência: Apenas estimativa genérica; nenhuma execução reproduzida por este site.

Amostragem padrão do publicador
temperature 1 · top_p 0,95 · top_k 20generation_config.json · lido em 2026-10-23fonte
Marcadores do template de chat
chamadas de ferramenta · raciocínio (thinking)marcadores encontrados no template, não um teste do recurso · lido em 2026-10-23fonte
Antes de baixar
  1. Confirme o checkpoint exato e a licença vinculada aqui.
  2. Confirme runtime e precisão ou quantização compatíveis com sua plataforma.
  3. Reserve memória para contexto, lote e eventuais componentes de mídia além dos pesos.

Detalhes técnicos

O que a fonte e o catálogo guardam deste checkpoint. Campos ausentes ficam de fora, nunca como zero.

Checkpoint / versão
abacusai/Smaug-Mini
Tarefa e modalidade
linguagem e raciocínio · texto + imagem
Contagem e base
27B · especificação do fabricante · 27B ativos
Contexto
262.144 tokens publicados para este modelo
Arquitetura
Dense
Runtime e precisão
O publicador documenta vLLM. Precisão e execução local não foram verificadas por este site.
Uso comercial
Permitido Apache License 2.0 text (SPDX) · consultado em 2026-10-18texto da licença
Todos os campos guardados10 campos
Revisão conferida
ee82c1ded4be75e160c0f7730fdae9e93ee4c80e
Arquitetura
Qwen3_5ForConditionalGeneration
Biblioteca
transformers
Tag de tarefa no Hub
image-text-to-text
Formatos
safetensors
Repositório criado
2026-09-02criação não é o lançamento do modelo
Repositório atualizado
2026-09-09um commit não é data de lançamento
Downloads no Hub (30 dias) · curtidas
817 · 13só este repositório · lido em 2026-10-25
Lido na página do Hub
tarefa, classe transformers, tags de tarefa, formatos de arquivoVisão geral e lista de arquivos do Hub · lido em 2026-10-18
Estado no catálogo
Inventário do Hub atualizado

Este é um ajuste do Qwen3.8-27B voltado a agentes. A ficha oficial fornece ajustes de ferramentas no vLLM, mas o score de benchmark não mede confiabilidade nas suas tarefas.

Fontes

Identidade e especificações publicadas vêm da página do checkpoint. As notas pertencem à rodada indicada e não medem velocidade no seu computador.

Catálogo revisado: 2026-09-30. Versão do benchmark: 2026-06-25; snapshot coletado: 2026-09-26.