Pular para o conteúdo
Local AI Wizard
Sua máquina
Tema

NVLM-D-72B

NVIDIA · nvidia/NVLM-D-72B

Licença dos pesos: Termos do publicador: CC BY-NC 4.0 · código e componentes podem ter outros termos

Informado pelo publicador12 resultadosFicha de NVIDIA · lida em 2026-10-25 · sem ranking · ver
Memória necessária~60 GBPesos Q4 + margem, antes da reserva da máquina
Parâmetros79,4 BTotal de safetensors no Hub
Repositório atualizado2025-01-14Um commit não é data de lançamento

Qualidade

Sem score comparável

Ainda não acompanhamos benchmark público e comparável que cubra este modelo. Nenhuma nota é inferida.

Informado pelo publicador

12 resultados · ficha de NVIDIA · lida em 2026-10-25
MathVista
65,2Vision-language Benchmarks
OCRBench
852Vision-language Benchmarks
AI2D
94,2Vision-language Benchmarks
ChartQA
86,0Vision-language Benchmarks
DocVQA
92,6Vision-language Benchmarks
TextVQA
82,6Vision-language Benchmarks
RealWorldQA
69,5Vision-language Benchmarks
VQAv2
85,4Vision-language Benchmarks
Todos os resultados informados12
MMLU
81,7Text-only Benchmarks
GSM8K
93,2Text-only Benchmarks
MATH
73,1Text-only Benchmarks
HumanEval
89,0Text-only Benchmarks

Valores como impressos na ficha, com a configuração do próprio publicador (seção da ficha: Model Details › Benchmark Results › Vision-language Benchmarks; Model Details › Benchmark Results › Text-only Benchmarks); coluna “NVLM-D 1.0 72B (Huggingface)”. Não comparáveis entre publicadores e fora de qualquer ranking. Ficha do modelo

Roda em

Cabe na memória rápida 15

A estimativa de planejamento cabe na memória que o modelo usa rápido: a VRAM da placa de vídeo, ou a memória unificada dentro da fatia de GPU do macOS.

Mostrar todos os 15

Na memória, fora da parte rápida 1

Dentro da memória da máquina, fora da parte rápida: na placa de vídeo, as camadas que não cabem rodam na CPU a partir da RAM do PC (a RAM informada, ou 32 GB presumidos); no Mac, acima da fatia de GPU padrão do macOS. Não é um número de velocidade.

Falta um degrau de memória 7

As mesmas máquinas com o próximo tamanho de memória o comportariam na memória rápida.

Mostrar todos os 7

Perfis de hardware agrupados pela estimativa de planejamento Q4 em cada máquina (GPUs dedicadas reservam 2 GB; memória unificada e do sistema, 25%, de 2 a 8 GB): cabe na memória rápida, fica na memória mas fora da parte rápida (camadas na RAM do PC, ou acima da fatia de GPU do macOS), ou falta um degrau de memória. Não é compatibilidade nem velocidade medida.

Considere para

NVIDIA lançou NVLM-D-72B em 2024-09-17: um modelo de visão e linguagem que responde sobre imagens, com 79,4B parâmetros pela contagem do Hugging Face e licença Termos do publicador: CC BY-NC 4.0. Idiomas declarados pelo publicador: en.

Confira antes

Licença: uso comercial não permitido. Em Q4 os pesos somam cerca de 59,5 GB antes da reserva de cada máquina; resolução da imagem, quadros de vídeo e contexto somam memória, e o encoder visual precisa de suporte no runtime escolhido.

Velocidade medida

Nenhuma medição publicada para este checkpoint

Tokens por segundo só aparecem quando uma fonte os publica com hardware, build e configuração. Nunca são estimados.

Como rodar

Compatibilidade de runtime e tokens por segundo não foram medidos para este registro. Metadados publicados e estimativa de memória não comprovam uma execução local.

Biblioteca na fonte: transformers

Formas documentadas de rodar

Copiado como aparece na fonte vinculada (lida em 2026-10-18); não executado por este site.

Transformers · ficha do modelo · Inference
import torch
from transformers import AutoTokenizer, AutoModel
import math
from PIL import Image
import torchvision.transforms as T
from torchvision.transforms.functional import InterpolationMode


def split_model():
    device_map = {}
    world_size = torch.cuda.device_count()
    num_layers = 80
    # Since the first GPU will be used for ViT, treat it as half a GPU.
    num_layers_per_gpu = math.ceil(num_layers / (world_size - 0.5))
    num_layers_per_gpu = [num_layers_per_gpu] * world_size
    num_layers_per_gpu[0] = math.ceil(num_layers_per_gpu[0] * 0.5)
    layer_cnt = 0
    for i, num_layer in enumerate(num_layers_per_gpu):
        for j in range(num_layer):
            device_map[f'language_model.model.layers.{layer_cnt}'] = i
            layer_cnt += 1
    device_map['vision_model'] = 0
    device_map['mlp1'] = 0
    device_map['language_model.model.tok_embeddings'] = 0
    device_map['language_model.model.embed_tokens'] = 0
    device_map['language_model.output'] = 0
    device_map['language_model.model.norm'] = 0
    device_map['language_model.lm_head'] = 0
    device_map['language_model.model.rotary_emb'] = 0
    device_map[f'language_model.model.layers.{num_layers - 1}'] = 0

    return device_map


IMAGENET_MEAN = (0.485, 0.456, 0.406)
IMAGENET_STD = (0.229, 0.224, 0.225)


def build_transform(input_size):
    MEAN, STD = IMAGENET_MEAN, IMAGENET_STD
    transform = T.Compose([
        T.Lambda(lambda img: img.convert('RGB') if img.mode != 'RGB' else img),
        T.Resize((input_size, input_size), interpolation=InterpolationMode.BICUBIC),
        T.ToTensor(),
        T.Normalize(mean=MEAN, std=STD)
    ])
    return transform


def find_closest_aspect_ratio(aspect_ratio, target_ratios, width, height, image_size):
    best_ratio_diff = float('inf')
    best_ratio = (1, 1)
    area = width * height
    for ratio in target_ratios:
        target_aspect_ratio = ratio[0] / ratio[1]
        ratio_diff = abs(aspect_ratio - target_aspect_ratio)
        if ratio_diff < best_ratio_diff:
            best_ratio_diff = ratio_diff
            best_ratio = ratio
        elif ratio_diff == best_ratio_diff:
            if area > 0.5 * image_size * image_size * ratio[0] * ratio[1]:
                best_ratio = ratio
    return best_ratio


def dynamic_preprocess(image, min_num=1, max_num=12, image_size=448, use_thumbnail=False):
    orig_width, orig_height = image.size
    aspect_ratio = orig_width / orig_height

    # calculate the existing image aspect ratio
    target_ratios = set(
        (i, j) for n in range(min_num, max_num + 1) for i in range(1, n + 1) for j in range(1, n + 1) if
        i * j <= max_num and i * j >= min_num)
    target_ratios = sorted(target_ratios, key=lambda x: x[0] * x[1])

    # find the closest aspect ratio to the target
    target_aspect_ratio = find_closest_aspect_ratio(
        aspect_ratio, target_ratios, orig_width, orig_height, image_size)

    # calculate the target width and height
    target_width = image_size * target_aspect_ratio[0]
    target_height = image_size * target_aspect_ratio[1]
    blocks = target_aspect_ratio[0] * target_aspect_ratio[1]

    # resize the image
    resized_img = image.resize((target_width, target_height))
    processed_images = []
    for i in range(blocks):
        box = (
            (i % (target_width // image_size)) * image_size,
            (i // (target_width // image_size)) * image_size,
            ((i % (target_width // image_size)) + 1) * image_size,
            ((i // (target_width // image_size)) + 1) * image_size
        )
        # split the image
        split_img = resized_img.crop(box)
        processed_images.append(split_img)
    assert len(processed_images) == blocks
    if use_thumbnail and len(processed_images) != 1:
        thumbnail_img = image.resize((image_size, image_size))
        processed_images.append(thumbnail_img)
    return processed_images


def load_image(image_file, input_size=448, max_num=12):
    image = Image.open(image_file).convert('RGB')
    transform = build_transform(input_size=input_size)
    images = dynamic_preprocess(image, image_size=input_size, use_thumbnail=True, max_num=max_num)
    pixel_values = [transform(image) for image in images]
    pixel_values = torch.stack(pixel_values)
    return pixel_values

path = "nvidia/NVLM-D-72B"
device_map = split_model()
model = AutoModel.from_pretrained(
    path,
    torch_dtype=torch.bfloat16,
    low_cpu_mem_usage=True,
    use_flash_attn=False,
    trust_remote_code=True,
    device_map=device_map).eval()

print(model)

tokenizer = AutoTokenizer.from_pretrained(path, trust_remote_code=True, use_fast=False)
generation_config = dict(max_new_tokens=1024, do_sample=False)

# pure-text conversation
question = 'Hello, who are you?'
response, history = model.chat(tokenizer, None, question, generation_config, history=None, return_history=True)
print(f'User: {question}\nAssistant: {response}')

# single-image single-round conversation
pixel_values = load_image('path/to/your/example/image.jpg', max_num=6).to(
    torch.bfloat16)
question = '<image>\nPlease describe the image shortly.'
response = model.chat(tokenizer, pixel_values, question, generation_config)
print(f'User: {question}\nAssistant: {response}')

Escolher meu computador

Detalhes técnicos

O que a fonte e o catálogo guardam deste checkpoint. Campos ausentes ficam de fora, nunca como zero.

Checkpoint / fonte
nvidia/NVLM-D-72B
Tarefa
image-text-to-text
Arquitetura
NVLM_D
Biblioteca na fonte
transformers
Licença dos pesos
Termos do publicador: CC BY-NC 4.0nvidia/NVLM-D-72B model card (Hugging Face) · consultado em 2026-10-18fonte
Uso comercial
Não permitido CC BY-NC 4.0 text (SPDX) · consultado em 2026-10-18texto da licença
Idiomas
enMetadados do model card · consultado em 2026-10-25fonte
Lançamento
NVLM-D-72B model card, 'Today (September 17th, 2024), we introduce NVLM 1.0 ... open-sourcing NVLM-1.0-D-72B' (Hugging Face) · consultado em 2026-10-18fonte
Todos os campos guardados12 campos
Revisão conferida
11e9e0f8d265d65ddaa8f9445b6f55fdec9d686f
Arquitetura
NVLM_D
Biblioteca
transformers
Tag de tarefa no Hub
image-text-to-text
Formatos
transformers, safetensors, pytorch
Acesso
Download aberto
Tipo de publicador
Oficial
Parâmetros no Hub
79.379.593.344safetensors.total
Repositório criado
2024-09-30criação não é o lançamento do modelo
Repositório atualizado
2025-01-14um commit não é data de lançamento
Downloads no Hub (30 dias) · curtidas
8.951 · 780só este repositório · lido em 2026-10-25
Estado no catálogo
Config ou pesos encontrados no Hub; sem vínculo de benchmark no inventário

Fontes

Identidade e especificações publicadas vêm da página do checkpoint. As notas pertencem à rodada indicada e não medem velocidade no seu computador.

Fatos curados verificados: 2026-10-18. A licença e a data de lançamento citam as fontes do publicador; parâmetros, arquivos e tarefa vêm do registro do Hugging Face, e a memória é uma estimativa rotulada a partir da contagem de parâmetros. Um valor que nenhuma fonte informa fica vazio; um commit do repositório não é a data de lançamento do modelo.