Nemotron 3 Embed 1B
NVIDIA · nvidia/Nemotron-3-Embed-1B-BF16
Licença dos pesos: OpenMDW 1.1 · código e componentes podem ter outros termos
Qualidade
Fora do ranking MTEB
O dataset de resultados do MTEB cobre 13 de 131 tarefas do MTEB (Multilingual, v2); uma média sobre um conjunto parcial não é comparável, então nenhuma é calculada.
Informado pelo publicador
- Text Retrieval benchmarks - Avg. NDCG@10 · RTEB (chunk retrieval)
- 72,38
- Text Retrieval benchmarks - Avg. NDCG@10 · ViDoRe-V3 text (chunk retrieval)
- 57,74
- Text Retrieval benchmarks - Avg. NDCG@10 · MMTEB (chunk retrieval; Retrieval)
- 71,04
Valores como impressos na ficha, com a configuração do próprio publicador (seção da ficha: Training, Testing, and Evaluation Datasets: › Evaluation Dataset:); coluna “Nemotron-3-Embed-1B-BF16”. Não comparáveis entre publicadores e fora de qualquer ranking. Ficha do modelo
Qualidade × memória
Sem par qualidade × memória comparável
As estimativas de memória de embeddings ficam em poucos GB, então um gráfico qualidade × memória não separaria estes modelos; o MTEB aparece acima.
Roda em
Cabe na memória rápida 119
A estimativa de planejamento cabe na memória que o modelo usa rápido: a VRAM da placa de vídeo, ou a memória unificada dentro da fatia de GPU do macOS.
Mostrar todos os 119
Perfis de hardware agrupados pela estimativa de planejamento de embeddings (pesos de 8 bits, 20% de margem, 2 GB de reserva). Não é compatibilidade medida.
Considere Nemotron 3 Embed 1B para busca semântica e recuperação: gera vetores de 2.048 dimensões a partir de texto.
O publicador não informa memória; a lista de hardware usa a estimativa de ~4 GB, um teto e não uma medição. Veja o formato de prompts em Como rodar. PT-BR confirmado por uma fonte.
Velocidade medida
Nenhuma medição publicada para este checkpoint
A vazão (textos por segundo) só aparece quando uma fonte a publica com hardware, build e configuração. Nunca é estimada.
Como rodar
A estimativa de planejamento usa pesos de 8 bits, 20% de margem e 2 GB de reserva; é um teto, não uma medição.
- Roda em
- Sentence Transformers, vLLM, PyTorchfonte
- Prompts de consulta/documento
- Use o prefixo 'query: ' nas consultas e 'passage: ' nos documentos. Os embeddings saem normalizados (L2).
- Idiomas · PT-BR
- Avaliado em 34 idiomas, português incluídoPT-BR confirmado por uma fonte
Formas documentadas de rodar
Copiado como aparece na fonte vinculada (lida em 2026-10-18); não executado por este site.
pip install --upgrade "transformers>=5.2.0" "sentence-transformers>=5.4.1"import torch
from sentence_transformers import SentenceTransformer
MODEL_ID = "nvidia/Nemotron-3-Embed-1B-BF16"
model = SentenceTransformer(
MODEL_ID,
device="cuda",
model_kwargs={
"dtype": torch.bfloat16,
"attn_implementation": "flash_attention_2",
},
)
model.max_seq_length = 32768
QUERIES = [
"Write a Python function that counts the frequency of each element in a list of lists.",
"Write a function that orders a dictionary with tuple keys by the product of each key's tuple values.",
"What symptoms and common triggers help distinguish eczema from other inflammatory skin conditions?",
"How can someone reduce exposure to pollen during allergy season?",
]
DOCUMENTS = [
"def frequency_lists(list1):\n flattened = [item for sublist in list1 for item in sublist]\n counts = {}\n for item in flattened:\n if item in counts:\n counts[item] += 1\n else:\n counts[item] = 1\n return counts",
"def sort_dict_item(test_dict):\n return {key: test_dict[key] for key in sorted(test_dict.keys(), key=lambda ele: ele[0] * ele[1])}",
"Eczema commonly causes itchy, dry, inflamed patches of skin. The affected areas may look red, scaly, cracked, or darker than the surrounding skin depending on skin tone. Symptoms can flare after exposure to irritants, allergens, stress, or changes in weather.",
"People with pollen allergy can reduce exposure by staying indoors on dry, windy days, avoiding early-morning outdoor activity, and going outside after rain when pollen levels are lower. They should check pollen forecasts, close windows and doors when counts are high, and consider starting allergy medication before symptoms begin if high pollen is expected. After being outside, showering, changing clothes, avoiding outdoor laundry drying, and wearing a face mask for yard work can help limit pollen contact.",
]
query_embeddings = model.encode_query(QUERIES, batch_size=8, convert_to_tensor=True)
document_embeddings = model.encode_document(DOCUMENTS, batch_size=8, convert_to_tensor=True)
scores = model.similarity(query_embeddings, document_embeddings)
print("Similarity scores:")
print(f"{'':>4}" + "".join(f"d[{i}]".rjust(10) for i in range(scores.shape[1])))
for query_index, row in enumerate(scores):
print(f"q[{query_index}]" + "".join(f"{score.item():>10.4f}" for score in row))pip install --upgrade "vllm==0.25.0" openai requests numpyMODEL_ID=nvidia/Nemotron-3-Embed-1B-BF16
vllm serve "$MODEL_ID"pip install --upgrade "transformers>=5.2.0" "sentence-transformers>=5.4.1"import torch
import torch.nn.functional as F
from transformers import AutoModel, AutoTokenizer
MODEL_ID = "nvidia/Nemotron-3-Embed-1B-BF16"
MAX_LENGTH = 32768
BATCH_SIZE = 8
DTYPE = torch.bfloat16
ATTN_IMPLEMENTATION = "flash_attention_2"
QUERIES = [
"Write a Python function that counts the frequency of each element in a list of lists.",
"Write a function that orders a dictionary with tuple keys by the product of each key's tuple values.",
"What symptoms and common triggers help distinguish eczema from other inflammatory skin conditions?",
"How can someone reduce exposure to pollen during allergy season?",
]
DOCUMENTS = [
"def frequency_lists(list1):\n flattened = [item for sublist in list1 for item in sublist]\n counts = {}\n for item in flattened:\n if item in counts:\n counts[item] += 1\n else:\n counts[item] = 1\n return counts",
"def sort_dict_item(test_dict):\n return {key: test_dict[key] for key in sorted(test_dict.keys(), key=lambda ele: ele[0] * ele[1])}",
"Eczema commonly causes itchy, dry, inflamed patches of skin. The affected areas may look red, scaly, cracked, or darker than the surrounding skin depending on skin tone. Symptoms can flare after exposure to irritants, allergens, stress, or changes in weather.",
"People with pollen allergy can reduce exposure by staying indoors on dry, windy days, avoiding early-morning outdoor activity, and going outside after rain when pollen levels are lower. They should check pollen forecasts, close windows and doors when counts are high, and consider starting allergy medication before symptoms begin if high pollen is expected. After being outside, showering, changing clothes, avoiding outdoor laundry drying, and wearing a face mask for yard work can help limit pollen contact.",
]
def average_pool(last_hidden_state: torch.Tensor, attention_mask: torch.Tensor) -> torch.Tensor:
last_hidden = last_hidden_state.masked_fill(~attention_mask[..., None].bool(), 0.0)
return last_hidden.sum(dim=1) / attention_mask.sum(dim=1)[..., None]
if not torch.cuda.is_available():
raise RuntimeError("CUDA is required for practical BF16 inference.")
device = torch.device("cuda")
tokenizer = AutoTokenizer.from_pretrained(MODEL_ID, padding_side="left")
if tokenizer.pad_token is None:
tokenizer.pad_token = tokenizer.eos_token
model = AutoModel.from_pretrained(
MODEL_ID,
dtype=DTYPE,
attn_implementation=ATTN_IMPLEMENTATION,
).to(device)
model.eval()
def encode_texts(texts: list[str]) -> torch.Tensor:
embedding_batches = []
for start in range(0, len(texts), BATCH_SIZE):
encoded = tokenizer(
texts[start : start + BATCH_SIZE],
max_length=MAX_LENGTH,
truncation=True,
padding=True,
return_tensors="pt",
)
encoded = {name: tensor.to(device) for name, tensor in encoded.items()}
with torch.inference_mode():
output = model(**encoded)
pooled = average_pool(output.last_hidden_state, encoded["attention_mask"])
embeddings = F.normalize(pooled, p=2, dim=-1)
embedding_batches.append(embeddings.detach().cpu().to(torch.float32))
return torch.cat(embedding_batches, dim=0)
embeddings = encode_texts(
["query: " + query for query in QUERIES]
+ ["passage: " + doc for doc in DOCUMENTS]
)
query_embeddings = embeddings[: len(QUERIES)]
document_embeddings = embeddings[len(QUERIES) :]
scores = query_embeddings @ document_embeddings.T
print("Similarity scores:")
print(f"{'':>4}" + "".join(f"d[{i}]".rjust(10) for i in range(scores.shape[1])))
for query_index, row in enumerate(scores):
print(f"q[{query_index}]" + "".join(f"{score.item():>10.4f}" for score in row))Detalhes técnicos
O que a fonte e o catálogo guardam deste checkpoint. Campos ausentes ficam de fora, nunca como zero.
- Checkpoint / fonte
- nvidia/Nemotron-3-Embed-1B-BF16
- Tarefa
- embeddings para busca (extração de características)
- Biblioteca na fonte
- Sentence Transformers, vLLM, PyTorch
- Licença dos pesos
- OpenMDW 1.1
- Uso comercial
- Permitido OpenMDW 1.1 text (nvidia/NV-Reason-CT LICENSE) · consultado em 2026-10-18texto da licença
- Base dos parâmetros
- Total de parâmetros dos safetensors no Hub (1.140.918.272, lido em 2026-10-09 na API do Hub).
- Anunciado
- 2026-07-16
Fontes
Identidade e especificações publicadas vêm da página do checkpoint. As notas pertencem à rodada indicada e não medem velocidade no seu computador.
- Ficha do publicador
- Hugging Face model page / card · 2026-10-09
- Hugging Face API (parameters, licence, library) · 2026-10-09
Fatos curados verificados: 2026-10-09. Cada valor cita sua fonte (a ficha do publicador ou o dataset de resultados do MTEB); estimativas vêm rotuladas como estimativas, e um valor que nenhuma fonte informa fica vazio. Um commit do repositório não é a data de lançamento do modelo.






























































