Pular para o conteúdo
Local AI Wizard
Sua máquina
Tema

Llama Nemotron Embed 1B v2

NVIDIA · nvidia/llama-nemotron-embed-1b-v2

Licença dos pesos: Termos do publicador: NVIDIA Open Model License Agreement (also Llama 3.2 Community Model License Agreement) · código e componentes podem ter outros termos

MTEB (Multilingual, v2)Sem resultado MTEB com fonteSem resultado MTEB com fonte
Memória necessária~4 GBEstimativa 8 bits · não medida
Parâmetros1,24 BBase nos detalhes técnicos
Dimensões · contexto2.0488.192 tokens · Matryoshka 1024/768/512/384

Qualidade

Fora do ranking MTEB

Sem resultado MTEB (Multilingual, v2) mean(task) com fonte para este modelo no dataset de resultados do MTEB nem no card; nenhum é inferido.

Informado pelo publicador

A ficha tem 4 tabelas de avaliação, mas nenhuma coluna foi associada a este checkpoint ainda (lida em 2026-10-25); nenhum valor é copiado de outra coluna. Isto continua uma lacuna aberta. tabelas na ficha, coluna ainda não associada · lida em 2026-10-25

Qualidade × memória

Sem par qualidade × memória comparável

As estimativas de memória de embeddings ficam em poucos GB, então um gráfico qualidade × memória não separaria estes modelos; o MTEB aparece acima.

Roda em

Cabe na memória rápida 119

A estimativa de planejamento cabe na memória que o modelo usa rápido: a VRAM da placa de vídeo, ou a memória unificada dentro da fatia de GPU do macOS.

Mostrar todos os 119

Perfis de hardware agrupados pela estimativa de planejamento de embeddings (pesos de 8 bits, 20% de margem, 2 GB de reserva). Não é compatibilidade medida.

Considere para

Considere Llama Nemotron Embed 1B v2 para busca semântica e recuperação: gera vetores de 2.048 dimensões a partir de texto.

Confira antes

O publicador não informa memória; a lista de hardware usa a estimativa de ~4 GB, um teto e não uma medição. Veja o formato de prompts em Como rodar. PT-BR confirmado por uma fonte.

Velocidade medida

Nenhuma medição publicada para este checkpoint

A vazão (textos por segundo) só aparece quando uma fonte a publica com hardware, build e configuração. Nunca é estimada.

Como rodar

A estimativa de planejamento usa pesos de 8 bits, 20% de margem e 2 GB de reserva; é um teto, não uma medição.

Roda em
Sentence Transformers, vLLM, NVIDIA NIMfonte
Prompts de consulta/documento
Prefixe consultas com 'query:' e documentos com 'passage:' (no Sentence Transformers, use encode_query / encode_document).
Idiomas · PT-BR
Avaliado em 26 idiomas, português incluídoPT-BR confirmado por uma fonte

Formas documentadas de rodar

Copiado como aparece na fonte vinculada (lida em 2026-10-18); não executado por este site.

Preparação indicada antes pela fonte · Sentence Transformers
pip install transformers sentence-transformers
Sentence Transformers · ficha do modelo · **Sentence Transformers Usage**
from sentence_transformers import SentenceTransformer

model = SentenceTransformer("nvidia/llama-nemotron-embed-1b-v2", trust_remote_code=True)

queries = [
    "how much protein should a female eat",
    "summit define",
]
documents = [
    "As a general guideline, the CDC's average requirement of protein for women ages 19 to 70 is 46 grams per day. But, as you can see from this chart, you'll need to increase that if you're expecting or training for a marathon. Check out the chart below to see how much protein you should be eating each day.",
    "Definition of summit for English Language Learners. : 1  the highest point of a mountain : the top of a mountain. : 2  the highest level. : 3  a meeting or series of meetings between the leaders of two or more governments."
]

query_embeddings = model.encode_query(queries, convert_to_tensor=True)
document_embeddings = model.encode_document(documents, convert_to_tensor=True)

# Compute similarity scores
scores = model.similarity(query_embeddings, document_embeddings)
"""
tensor([[ 0.5968, -0.0454],
        [-0.0336,  0.4613]], device='cuda:0')
"""
vLLM · ficha do modelo · vLLM Usage
vllm serve \
    nvidia/llama-nemotron-embed-1b-v2 \
    --trust-remote-code
Preparação indicada antes pela fonte · Transformers
pip install transformers
Transformers · ficha do modelo · **Transformers Usage**
import torch
import torch.nn.functional as F
from transformers import AutoTokenizer, AutoModel


def average_pool(last_hidden_states, attention_mask):
    """Average pooling with attention mask."""
    last_hidden_states_masked = last_hidden_states.masked_fill(~attention_mask[..., None].bool(), 0.0)
    embedding = last_hidden_states_masked.sum(dim=1) / attention_mask.sum(dim=1)[..., None]
    embedding = F.normalize(embedding, dim=-1)
    return embedding


tokenizer = AutoTokenizer.from_pretrained("nvidia/llama-nemotron-embed-1b-v2")
model = AutoModel.from_pretrained("nvidia/llama-nemotron-embed-1b-v2", trust_remote_code=True)
model = model.to("cuda:0")
model.eval()
query_prefix = "query:"
document_prefix = "passage:"


queries = [
    "how much protein should a female eat",
    "summit define",
]
documents = [
    "As a general guideline, the CDC's average requirement of protein for women ages 19 to 70 is 46 grams per day. But, as you can see from this chart, you'll need to increase that if you're expecting or training for a marathon. Check out the chart below to see how much protein you should be eating each day.",
    "Definition of summit for English Language Learners. : 1  the highest point of a mountain : the top of a mountain. : 2  the highest level. : 3  a meeting or series of meetings between the leaders of two or more governments."
]
queries = [f"{query_prefix} {query}" for query in queries]
documents = [f"{document_prefix} {document}" for document in documents]


batch_queries = tokenizer(queries, padding=True, truncation=True, return_tensors='pt').to("cuda:0")
batch_documents = tokenizer(documents, padding=True, truncation=True, return_tensors='pt').to("cuda:0")

with torch.no_grad():
    outputs_queries = model(**batch_queries)
    outputs_documents = model(**batch_documents)

# Average Pooling
embeddings_queries = average_pool(outputs_queries.last_hidden_state, batch_queries["attention_mask"])
print("Query embeddings:")
print(embeddings_queries)
print(embeddings_queries.shape)
#torch.Size([2, 2048])

embeddings_documents = average_pool(outputs_documents.last_hidden_state, batch_documents["attention_mask"])
print("\nDocument embeddings:")
print(embeddings_documents)
print(embeddings_documents.shape)
#torch.Size([2, 2048])

# Compute similarity scores
scores = (embeddings_queries @ embeddings_documents.T)
print("\nSimilarity scores:")
print(scores.tolist())

#Similarity scores:
#[[0.5968121290206909, -0.04534469544887543], [-0.03361201286315918, 0.46140915155410767]]

Escolher meu computador

Detalhes técnicos

O que a fonte e o catálogo guardam deste checkpoint. Campos ausentes ficam de fora, nunca como zero.

Tarefa
embeddings para busca (extração de características)
Biblioteca na fonte
Sentence Transformers, vLLM, NVIDIA NIM
Licença dos pesos
Termos do publicador: NVIDIA Open Model License Agreement (also Llama 3.2 Community Model License Agreement)
Uso comercial
Permitido com condições As duas licenças se aplicam: a NVIDIA Open Model License diz que o modelo pode ser usado comercialmente; os termos do Llama 3.2 acrescentam que acima de 700 mi de usuários mensais é preciso licença da Meta e que "Built with Llama" deve ser exibido · Llama 3.2 Community License (meta-llama/llama-models) · consultado em 2026-10-18texto da licença
Base dos parâmetros
Total de parâmetros dos safetensors no Hub (1.235.814.400, lido em 2026-10-09 na API do Hub).
Lançamento
Não informado pelo publicador. Card lido por inteiro (da visão geral às fichas de segurança): não há campo Release Date, ao contrário do card do Nemotron-3-Embed.Verificado em 2026-10-13.fonte consultada

Fontes

Identidade e especificações publicadas vêm da página do checkpoint. As notas pertencem à rodada indicada e não medem velocidade no seu computador.

Fatos curados verificados: 2026-10-09. Cada valor cita sua fonte (a ficha do publicador ou o dataset de resultados do MTEB); estimativas vêm rotuladas como estimativas, e um valor que nenhuma fonte informa fica vazio. Um commit do repositório não é a data de lançamento do modelo.