Pular para o conteúdo
Local AI Wizard
Sua máquina
Tema

NVIDIA-Nemotron-Nano-12B-v2-VL-BF16

NVIDIA · nvidia/NVIDIA-Nemotron-Nano-12B-v2-VL-BF16

Licença dos pesos: Termos do publicador: NVIDIA Open Model License · código e componentes podem ter outros termos

Informado pelo publicador10 resultadosFicha de NVIDIA · lida em 2026-10-25 · sem ranking · ver
Memória necessária~10 GBPesos Q4 + margem, antes da reserva da máquina
Parâmetros13,2 BTotal de safetensors no Hub
Repositório atualizado2026-08-25Um commit não é data de lançamento

Qualidade

Sem score comparável

Ainda não acompanhamos benchmark público e comparável que cubra este modelo. Nenhuma nota é inferida.

Informado pelo publicador

10 resultados · ficha de NVIDIA · lida em 2026-10-25
MMMU
68
MathVista
76,9
AI2D
87,11
OCRBenchv2
62,0
OCRBench
85,6
OCR-Reasoning
36,4
ChartQA
89,72
DocVQA
94,39
Todos os resultados informados10
Video-MME w/o sub
65,9
Vision Average
74,0

Valores como impressos na ficha, com a configuração do próprio publicador (seção da ficha: Self-Sourced Synthetic Data › Evaluation Datasets:). Não comparáveis entre publicadores e fora de qualquer ranking. Ficha do modelo

Roda em

Cabe na memória rápida 90

A estimativa de planejamento cabe na memória que o modelo usa rápido: a VRAM da placa de vídeo, ou a memória unificada dentro da fatia de GPU do macOS.

Mostrar todos os 90

Na memória, fora da parte rápida 26

Dentro da memória da máquina, fora da parte rápida: na placa de vídeo, as camadas que não cabem rodam na CPU a partir da RAM do PC (a RAM informada, ou 32 GB presumidos); no Mac, acima da fatia de GPU padrão do macOS. Não é um número de velocidade.

Mostrar todos os 26

Falta um degrau de memória 3

As mesmas máquinas com o próximo tamanho de memória o comportariam na memória rápida.

Perfis de hardware agrupados pela estimativa de planejamento Q4 em cada máquina (GPUs dedicadas reservam 2 GB; memória unificada e do sistema, 25%, de 2 a 8 GB): cabe na memória rápida, fica na memória mas fora da parte rápida (camadas na RAM do PC, ou acima da fatia de GPU do macOS), ou falta um degrau de memória. Não é compatibilidade nem velocidade medida.

Considere para

NVIDIA lançou NVIDIA-Nemotron-Nano-12B-v2-VL-BF16 em 2025-10-28: um modelo de visão e linguagem que responde sobre imagens, com 13,2B parâmetros pela contagem do Hugging Face e licença Termos do publicador: NVIDIA Open Model License. Idiomas declarados pelo publicador: en.

Confira antes

Licença: uso comercial permitido. Em Q4 os pesos somam cerca de 9,9 GB antes da reserva de cada máquina; resolução da imagem, quadros de vídeo e contexto somam memória, e o encoder visual precisa de suporte no runtime escolhido.

Velocidade medida

Nenhuma medição publicada para este checkpoint

Tokens por segundo só aparecem quando uma fonte os publica com hardware, build e configuração. Nunca são estimados.

Como rodar

Compatibilidade de runtime e tokens por segundo não foram medidos para este registro. Metadados publicados e estimativa de memória não comprovam uma execução local.

Biblioteca na fonte: transformers

Formas documentadas de rodar

Copiado como aparece na fonte vinculada (lida em 2026-10-18); não executado por este site.

Preparação indicada antes pela fonte · Transformers
pip install causal_conv1d "transformers>4.53,<4.54" torch timm "mamba-ssm==2.2.5" accelerate open_clip_torch numpy pillow
Transformers · ficha do modelo · Single Image Inference
import torch
from PIL import Image
from transformers import AutoModelForCausalLM, AutoProcessor, AutoTokenizer

# Load model and processor
model_path = "nvidia/NVIDIA-Nemotron-Nano-12B-v2-VL-BF16"  # Or use a local path
device = "cuda:0"

model = AutoModelForCausalLM.from_pretrained(
    model_path,
    trust_remote_code=True,
    device_map=device,
    torch_dtype=torch.bfloat16
).eval()
tokenizer = AutoTokenizer.from_pretrained(model_path)
processor = AutoProcessor.from_pretrained(model_path, trust_remote_code=True)

# Load image
image = Image.open("path/to/your/image.jpg")

# Prepare messages
messages = [
    {"role": "system", "content": "/no_think"},
    {
        "role": "user",
        "content": [
            {"type": "image", "image": ""},
            {"type": "text", "text": "Describe the image."},
        ],
    }
]

# Generate prompt and process inputs
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = processor(text=[prompt], images=[image], return_tensors="pt").to(device)

# Generate output
generated_ids = model.generate(
    pixel_values=inputs.pixel_values,
    input_ids=inputs.input_ids,
    attention_mask=inputs.attention_mask,
    max_new_tokens=1024,
    do_sample=False,
    eos_token_id=tokenizer.eos_token_id,
)

# Decode output
output_text = processor.batch_decode(
    generated_ids, skip_special_tokens=False, clean_up_tokenization_spaces=False
)[0]
print(output_text)
vLLM · ficha do modelo · Inference with vLLM
vllm serve nvidia/NVIDIA-Nemotron-Nano-12B-v2-VL-BF16 --trust-remote-code --dtype bfloat16 --video-pruning-rate 0

Escolher meu computador

Detalhes técnicos

O que a fonte e o catálogo guardam deste checkpoint. Campos ausentes ficam de fora, nunca como zero.

Tarefa
image-text-to-text
Biblioteca na fonte
transformers
Licença dos pesos
Termos do publicador: NVIDIA Open Model LicenseNVIDIA Open Model License Agreement (linked from the model card) · consultado em 2026-10-18fonte
Uso comercial
Permitido NVIDIA Open Model License Agreement, last modified 2025-10-24 (copy shipped in NVIDIA's NVlabs/GRAIL repository) · consultado em 2026-10-18texto da licença
Idiomas
en Declaração do publicador · consultado em 2026-10-18fonte
Lançamento
NVIDIA Nemotron Nano 12B v2 VL model card, Release Date: Hugging Face [October 28th, 2025] · consultado em 2026-10-18fonte
Todos os campos guardados12 campos
Revisão conferida
ca9543b126e8bf3176916d3d305ccc415f89fd4d
Biblioteca
transformers
Tag de tarefa no Hub
image-text-to-text
Formatos
transformers, safetensors
Acesso
Download aberto
Tipo de publicador
Oficial
Parâmetros no Hub
13.181.860.358safetensors.total
Repositório criado
2025-10-21criação não é o lançamento do modelo
Repositório atualizado
2026-08-25um commit não é data de lançamento
Downloads no Hub (30 dias) · curtidas
15.330 · 96só este repositório · lido em 2026-10-25
Lido na página do Hub
classe transformers, tags de tarefaVisão geral e lista de arquivos do Hub · lido em 2026-10-18
Estado no catálogo
Config ou pesos encontrados no Hub; sem vínculo de benchmark no inventário

Fontes

Identidade e especificações publicadas vêm da página do checkpoint. As notas pertencem à rodada indicada e não medem velocidade no seu computador.

Fatos curados verificados: 2026-10-18. A licença e a data de lançamento citam as fontes do publicador; parâmetros, arquivos e tarefa vêm do registro do Hugging Face, e a memória é uma estimativa rotulada a partir da contagem de parâmetros. Um valor que nenhuma fonte informa fica vazio; um commit do repositório não é a data de lançamento do modelo.