Pular para o conteúdo
Local AI Wizard
Sua máquina
Tema

Como ler as notas de benchmark de um LLM?

LiveBench, LMArena e MTEB medem coisas diferentes em escalas diferentes, por isso o site nunca as mistura.

Primeiros passos · atualizado em

Resposta curta

Compare uma nota só com outras da mesma fonte e da mesma rodada. Cada fonte tem sua escala, então o site nunca faz média.

  • LiveBench: Perguntas de teste, com nota de 0 a 100.
  • LMArena: Pontuação de votos às cegas de pessoas comparando respostas.
  • MTEB: Avalia só modelos de embedding.

Contado pelos dados de LiveBench, LMArena e MTEB que o site usa. Metodologia

As três fontes

O que cada uma mede, a escala e quantos modelos revisados a têm hoje.

Fontes de qualidade mostradas no site, pelo que medem e pela cobertura.
FonteO que medeEscalaRodada usadaModelos revisados com valor
LiveBenchAcertos em perguntas novas de matemática, programação, raciocínio, análise de dados, linguagem e seguir instruções0 a 100, maior é melhor2026-06-2522 / 60
LMArenaQual de duas respostas anônimas as pessoas preferem, convertido em pontuaçãoPontuação com intervalo ±; os modelos revisados vão de 1.111 a 1.4802026-10-2225 / 60
MTEB (Multilingual, v2)O quanto um modelo de embedding encontra e agrupa texto relacionado, na média das tarefas0 a 100, média por tarefaDataset de resultados16 / 20

Fontes: (LiveBench 2026-06-25, lido em 26 de set. de 2026) (LMArena 2026-10-22 · CC BY 4.0, lido em 25 de out. de 2026) (MTEB (Multilingual, v2) · Qwen3-Embedding 8B, lido em 25 de out. de 2026)

Um modelo, duas notas

LiveBench 2026-06-25
75,3 / 100O Qwen3.8 27B fez 75,3 de 100, a média dos resultados por categoria.
LMArena 2026-10-22
1.437 ± 5Posição 102 da rodada, com 26.238 votos; o ± é o intervalo que o ranking publica.

7 modelos de texto revisados têm as duas. Os dois números falam de coisas diferentes (respostas de teste contra preferência das pessoas) e em escalas diferentes, então um “75” e um “1.437” não podem ser somados, ter média nem ser convertidos um no outro. O site dá a cada um a própria lente de gráfico e a própria coluna de tabela. Entre os modelos revisados, a maior nota no LiveBench é do DeepSeek V4.1 Flash · max; veja o Qwen3.8 27B para as duas notas numa página.

Por que nunca se misturam

Perguntas diferentes
Acerto não é preferênciaUm modelo pode ganhar votos com um estilo agradável e ainda errar respostas de teste, ou o contrário.
Escalas diferentes
0 a 100 contra uma pontuação abertaUma pontuação do Arena não tem máximo e muda quando novos modelos entram; uma porcentagem não.
Rodadas diferentes
2026-06-25 · 2026-10-22As notas só se comparam dentro da mesma rodada; a data da rodada acompanha cada número.
Hospedado, não o seu arquivo
Testado no modelo completoAs duas fontes de texto testam o modelo do publicador, não um arquivo Q4 na sua máquina, então nenhuma diz quanto um arquivo quantizado pontua.

Quando não há nota

Um traço quer dizer que o modelo não tem resultado naquela rodada, e o traço traz o motivo. Nunca é zero nem uma nota emprestada de um irmão maior ou menor. 20 modelos de texto revisados não têm nenhuma das notas de texto; as páginas deles ainda mostram memória, arquivos e onde rodam.

Para busca e recuperação, os modelos de embedding são avaliados pelo MTEB; o maior resultado revisado é do Qwen3-Embedding 8B (70,6 / 100).