Como ler as notas de benchmark de um LLM?
LiveBench, LMArena e MTEB medem coisas diferentes em escalas diferentes, por isso o site nunca as mistura.
Resposta curta
Compare uma nota só com outras da mesma fonte e da mesma rodada. Cada fonte tem sua escala, então o site nunca faz média.
- LiveBench: Perguntas de teste, com nota de 0 a 100.
- LMArena: Pontuação de votos às cegas de pessoas comparando respostas.
- MTEB: Avalia só modelos de embedding.
Contado pelos dados de LiveBench, LMArena e MTEB que o site usa. Metodologia
As três fontes
O que cada uma mede, a escala e quantos modelos revisados a têm hoje.
| Fonte | O que mede | Escala | Rodada usada | Modelos revisados com valor |
|---|---|---|---|---|
| LiveBench | Acertos em perguntas novas de matemática, programação, raciocínio, análise de dados, linguagem e seguir instruções | 0 a 100, maior é melhor | 2026-06-25 | 22 / 60 |
| LMArena | Qual de duas respostas anônimas as pessoas preferem, convertido em pontuação | Pontuação com intervalo ±; os modelos revisados vão de 1.111 a 1.480 | 2026-10-22 | 25 / 60 |
| MTEB (Multilingual, v2) | O quanto um modelo de embedding encontra e agrupa texto relacionado, na média das tarefas | 0 a 100, média por tarefa | Dataset de resultados | 16 / 20 |
Fontes: (LiveBench 2026-06-25, lido em 26 de set. de 2026) (LMArena 2026-10-22 · CC BY 4.0, lido em 25 de out. de 2026) (MTEB (Multilingual, v2) · Qwen3-Embedding 8B, lido em 25 de out. de 2026)
Um modelo, duas notas
- LiveBench 2026-06-25
- 75,3 / 100O Qwen3.8 27B fez 75,3 de 100, a média dos resultados por categoria.
- LMArena 2026-10-22
- 1.437 ± 5Posição 102 da rodada, com 26.238 votos; o ± é o intervalo que o ranking publica.
7 modelos de texto revisados têm as duas. Os dois números falam de coisas diferentes (respostas de teste contra preferência das pessoas) e em escalas diferentes, então um “75” e um “1.437” não podem ser somados, ter média nem ser convertidos um no outro. O site dá a cada um a própria lente de gráfico e a própria coluna de tabela. Entre os modelos revisados, a maior nota no LiveBench é do DeepSeek V4.1 Flash · max; veja o Qwen3.8 27B para as duas notas numa página.
Por que nunca se misturam
- Perguntas diferentes
- Acerto não é preferênciaUm modelo pode ganhar votos com um estilo agradável e ainda errar respostas de teste, ou o contrário.
- Escalas diferentes
- 0 a 100 contra uma pontuação abertaUma pontuação do Arena não tem máximo e muda quando novos modelos entram; uma porcentagem não.
- Rodadas diferentes
- 2026-06-25 · 2026-10-22As notas só se comparam dentro da mesma rodada; a data da rodada acompanha cada número.
- Hospedado, não o seu arquivo
- Testado no modelo completoAs duas fontes de texto testam o modelo do publicador, não um arquivo Q4 na sua máquina, então nenhuma diz quanto um arquivo quantizado pontua.
Quando não há nota
Um traço quer dizer que o modelo não tem resultado naquela rodada, e o traço traz o motivo. Nunca é zero nem uma nota emprestada de um irmão maior ou menor. 20 modelos de texto revisados não têm nenhuma das notas de texto; as páginas deles ainda mostram memória, arquivos e onde rodam.
Para busca e recuperação, os modelos de embedding são avaliados pelo MTEB; o maior resultado revisado é do Qwen3-Embedding 8B (70,6 / 100).