Pular para o conteúdo
Local AI Wizard
Sua máquina
Tema

Nemotron 3 Embed 1B

NVIDIA · nvidia/Nemotron-3-Embed-1B-BF16

Licença dos pesos: OpenMDW 1.1 · código e componentes podem ter outros termos

Informado pelo publicador3 resultadosFicha de NVIDIA · lida em 2026-10-25 · sem ranking · ver
Memória necessária~4 GBEstimativa 8 bits · não medida
Parâmetros1,14 BBase nos detalhes técnicos
Dimensões · contexto2.04832.768 tokens

Qualidade

Fora do ranking MTEB

O dataset de resultados do MTEB cobre 13 de 131 tarefas do MTEB (Multilingual, v2); uma média sobre um conjunto parcial não é comparável, então nenhuma é calculada.

Informado pelo publicador

3 resultados · ficha de NVIDIA · lida em 2026-10-25
Text Retrieval benchmarks - Avg. NDCG@10 · RTEB (chunk retrieval)
72,38
Text Retrieval benchmarks - Avg. NDCG@10 · ViDoRe-V3 text (chunk retrieval)
57,74
Text Retrieval benchmarks - Avg. NDCG@10 · MMTEB (chunk retrieval; Retrieval)
71,04

Valores como impressos na ficha, com a configuração do próprio publicador (seção da ficha: Training, Testing, and Evaluation Datasets: › Evaluation Dataset:); coluna “Nemotron-3-Embed-1B-BF16”. Não comparáveis entre publicadores e fora de qualquer ranking. Ficha do modelo

Qualidade × memória

Sem par qualidade × memória comparável

As estimativas de memória de embeddings ficam em poucos GB, então um gráfico qualidade × memória não separaria estes modelos; o MTEB aparece acima.

Roda em

Cabe na memória rápida 119

A estimativa de planejamento cabe na memória que o modelo usa rápido: a VRAM da placa de vídeo, ou a memória unificada dentro da fatia de GPU do macOS.

Mostrar todos os 119

Perfis de hardware agrupados pela estimativa de planejamento de embeddings (pesos de 8 bits, 20% de margem, 2 GB de reserva). Não é compatibilidade medida.

Considere para

Considere Nemotron 3 Embed 1B para busca semântica e recuperação: gera vetores de 2.048 dimensões a partir de texto.

Confira antes

O publicador não informa memória; a lista de hardware usa a estimativa de ~4 GB, um teto e não uma medição. Veja o formato de prompts em Como rodar. PT-BR confirmado por uma fonte.

Velocidade medida

Nenhuma medição publicada para este checkpoint

A vazão (textos por segundo) só aparece quando uma fonte a publica com hardware, build e configuração. Nunca é estimada.

Como rodar

A estimativa de planejamento usa pesos de 8 bits, 20% de margem e 2 GB de reserva; é um teto, não uma medição.

Roda em
Sentence Transformers, vLLM, PyTorchfonte
Prompts de consulta/documento
Use o prefixo 'query: ' nas consultas e 'passage: ' nos documentos. Os embeddings saem normalizados (L2).
Idiomas · PT-BR
Avaliado em 34 idiomas, português incluídoPT-BR confirmado por uma fonte

Formas documentadas de rodar

Copiado como aparece na fonte vinculada (lida em 2026-10-18); não executado por este site.

Preparação indicada antes pela fonte · Sentence Transformers
pip install --upgrade "transformers>=5.2.0" "sentence-transformers>=5.4.1"
Sentence Transformers · ficha do modelo · Sentence Transformers
import torch
from sentence_transformers import SentenceTransformer

MODEL_ID = "nvidia/Nemotron-3-Embed-1B-BF16"

model = SentenceTransformer(
    MODEL_ID,
    device="cuda",
    model_kwargs={
        "dtype": torch.bfloat16,
        "attn_implementation": "flash_attention_2",
    },
)
model.max_seq_length = 32768

QUERIES = [
    "Write a Python function that counts the frequency of each element in a list of lists.",
    "Write a function that orders a dictionary with tuple keys by the product of each key's tuple values.",
    "What symptoms and common triggers help distinguish eczema from other inflammatory skin conditions?",
    "How can someone reduce exposure to pollen during allergy season?",
]

DOCUMENTS = [
    "def frequency_lists(list1):\n    flattened = [item for sublist in list1 for item in sublist]\n    counts = {}\n    for item in flattened:\n        if item in counts:\n            counts[item] += 1\n        else:\n            counts[item] = 1\n    return counts",
    "def sort_dict_item(test_dict):\n    return {key: test_dict[key] for key in sorted(test_dict.keys(), key=lambda ele: ele[0] * ele[1])}",
    "Eczema commonly causes itchy, dry, inflamed patches of skin. The affected areas may look red, scaly, cracked, or darker than the surrounding skin depending on skin tone. Symptoms can flare after exposure to irritants, allergens, stress, or changes in weather.",
    "People with pollen allergy can reduce exposure by staying indoors on dry, windy days, avoiding early-morning outdoor activity, and going outside after rain when pollen levels are lower. They should check pollen forecasts, close windows and doors when counts are high, and consider starting allergy medication before symptoms begin if high pollen is expected. After being outside, showering, changing clothes, avoiding outdoor laundry drying, and wearing a face mask for yard work can help limit pollen contact.",
]
query_embeddings = model.encode_query(QUERIES, batch_size=8, convert_to_tensor=True)
document_embeddings = model.encode_document(DOCUMENTS, batch_size=8, convert_to_tensor=True)

scores = model.similarity(query_embeddings, document_embeddings)
print("Similarity scores:")
print(f"{'':>4}" + "".join(f"d[{i}]".rjust(10) for i in range(scores.shape[1])))
for query_index, row in enumerate(scores):
    print(f"q[{query_index}]" + "".join(f"{score.item():>10.4f}" for score in row))
Preparação indicada antes pela fonte · vLLM
pip install --upgrade "vllm==0.25.0" openai requests numpy
vLLM · ficha do modelo · vLLM Online Serving
MODEL_ID=nvidia/Nemotron-3-Embed-1B-BF16

vllm serve "$MODEL_ID"
Preparação indicada antes pela fonte · Transformers
pip install --upgrade "transformers>=5.2.0" "sentence-transformers>=5.4.1"
Transformers · ficha do modelo · Transformers
import torch
import torch.nn.functional as F
from transformers import AutoModel, AutoTokenizer

MODEL_ID = "nvidia/Nemotron-3-Embed-1B-BF16"
MAX_LENGTH = 32768
BATCH_SIZE = 8
DTYPE = torch.bfloat16
ATTN_IMPLEMENTATION = "flash_attention_2"

QUERIES = [
    "Write a Python function that counts the frequency of each element in a list of lists.",
    "Write a function that orders a dictionary with tuple keys by the product of each key's tuple values.",
    "What symptoms and common triggers help distinguish eczema from other inflammatory skin conditions?",
    "How can someone reduce exposure to pollen during allergy season?",
]

DOCUMENTS = [
    "def frequency_lists(list1):\n    flattened = [item for sublist in list1 for item in sublist]\n    counts = {}\n    for item in flattened:\n        if item in counts:\n            counts[item] += 1\n        else:\n            counts[item] = 1\n    return counts",
    "def sort_dict_item(test_dict):\n    return {key: test_dict[key] for key in sorted(test_dict.keys(), key=lambda ele: ele[0] * ele[1])}",
    "Eczema commonly causes itchy, dry, inflamed patches of skin. The affected areas may look red, scaly, cracked, or darker than the surrounding skin depending on skin tone. Symptoms can flare after exposure to irritants, allergens, stress, or changes in weather.",
    "People with pollen allergy can reduce exposure by staying indoors on dry, windy days, avoiding early-morning outdoor activity, and going outside after rain when pollen levels are lower. They should check pollen forecasts, close windows and doors when counts are high, and consider starting allergy medication before symptoms begin if high pollen is expected. After being outside, showering, changing clothes, avoiding outdoor laundry drying, and wearing a face mask for yard work can help limit pollen contact.",
]

def average_pool(last_hidden_state: torch.Tensor, attention_mask: torch.Tensor) -> torch.Tensor:
    last_hidden = last_hidden_state.masked_fill(~attention_mask[..., None].bool(), 0.0)
    return last_hidden.sum(dim=1) / attention_mask.sum(dim=1)[..., None]

if not torch.cuda.is_available():
    raise RuntimeError("CUDA is required for practical BF16 inference.")

device = torch.device("cuda")

tokenizer = AutoTokenizer.from_pretrained(MODEL_ID, padding_side="left")
if tokenizer.pad_token is None:
    tokenizer.pad_token = tokenizer.eos_token

model = AutoModel.from_pretrained(
    MODEL_ID,
    dtype=DTYPE,
    attn_implementation=ATTN_IMPLEMENTATION,
).to(device)
model.eval()

def encode_texts(texts: list[str]) -> torch.Tensor:
    embedding_batches = []

    for start in range(0, len(texts), BATCH_SIZE):
        encoded = tokenizer(
            texts[start : start + BATCH_SIZE],
            max_length=MAX_LENGTH,
            truncation=True,
            padding=True,
            return_tensors="pt",
        )
        encoded = {name: tensor.to(device) for name, tensor in encoded.items()}

        with torch.inference_mode():
            output = model(**encoded)
            pooled = average_pool(output.last_hidden_state, encoded["attention_mask"])
            embeddings = F.normalize(pooled, p=2, dim=-1)

        embedding_batches.append(embeddings.detach().cpu().to(torch.float32))

    return torch.cat(embedding_batches, dim=0)

embeddings = encode_texts(
    ["query: " + query for query in QUERIES]
    + ["passage: " + doc for doc in DOCUMENTS]
)
query_embeddings = embeddings[: len(QUERIES)]
document_embeddings = embeddings[len(QUERIES) :]

scores = query_embeddings @ document_embeddings.T
print("Similarity scores:")
print(f"{'':>4}" + "".join(f"d[{i}]".rjust(10) for i in range(scores.shape[1])))
for query_index, row in enumerate(scores):
    print(f"q[{query_index}]" + "".join(f"{score.item():>10.4f}" for score in row))

Escolher meu computador

Detalhes técnicos

O que a fonte e o catálogo guardam deste checkpoint. Campos ausentes ficam de fora, nunca como zero.

Tarefa
embeddings para busca (extração de características)
Biblioteca na fonte
Sentence Transformers, vLLM, PyTorch
Licença dos pesos
OpenMDW 1.1
Uso comercial
Permitido OpenMDW 1.1 text (nvidia/NV-Reason-CT LICENSE) · consultado em 2026-10-18texto da licença
Base dos parâmetros
Total de parâmetros dos safetensors no Hub (1.140.918.272, lido em 2026-10-09 na API do Hub).
Anunciado
2026-07-16

Fontes

Identidade e especificações publicadas vêm da página do checkpoint. As notas pertencem à rodada indicada e não medem velocidade no seu computador.

Fatos curados verificados: 2026-10-09. Cada valor cita sua fonte (a ficha do publicador ou o dataset de resultados do MTEB); estimativas vêm rotuladas como estimativas, e um valor que nenhuma fonte informa fica vazio. Um commit do repositório não é a data de lançamento do modelo.