Phi-3.5-vision-instruct
Microsoft · microsoft/Phi-3.5-vision-instruct
Licença dos pesos: MIT · código e componentes podem ter outros termos
Qualidade
Qualidade · LMArena · visão
LMArena 2026-10-19 · preferência humana · maior é melhor · este modelo em destaque
- Cor = publicador
Fonte: LMArena 2026-10-19 · coletado 2026-10-25 · dataset · CC BY 4.0 · modelos sem pontuação não aparecem (sem pontuação ≠ 0)
919 ± 16 · LMArena · visão · Intervalo de confiança 903–935 · 2.592 votos
Informado pelo publicador
- Art Style
- 87,2Release Notes
- Counting
- 54,2Release Notes
- Forensic Detection
- 92,4Release Notes
- Functional Correspondence
- 29,2Release Notes
- IQ Test
- 25,3Release Notes
- Jigsaw
- 68,0Release Notes
- Multi-View Reasoning
- 54,1Release Notes
- Object Localization
- 49,2Release Notes
Todos os resultados informados
- Relative Depth
- 69,4Release Notes
- Relative Reflectance
- 37,3Release Notes
- Semantic Correspondence
- 36,7Release Notes
- Spatial Relation
- 65,7Release Notes
- Visual Correspondence
- 53,5Release Notes
- Visual Similarity
- 83,0Release Notes
- Overall
- 57,0Release Notes
- short (<2min)
- 60,8Release Notes
- medium (4-15min)
- 47,7Release Notes
- long (30-60min)
- 43,8Release Notes
- Overall
- 50,8Release Notes
- MMMU (val)
- 43,0Benchmarks · Popular aggregated benchmark · 0-shot
- MMBench (dev-en)
- 81,9Benchmarks · Popular aggregated benchmark · 0-shot
- ScienceQA (img-test)
- 91,3Benchmarks · Visual scientific knowledge reasoning · 0-shot
- MathVista (testmini)
- 43,9Benchmarks · Visual math reasoning · 0-shot
- InterGPS (test)
- 36,3Benchmarks · Visual math reasoning · 0-shot
- AI2D (test)
- 78,1Benchmarks · Chart reasoning · 0-shot
- ChartQA (test)
- 81,8Benchmarks · Chart reasoning · 0-shot
- TextVQA (val)
- 72,0Benchmarks · Document Intelligence · 0-shot
- POPE (test)
- 86,1Benchmarks · Object visual presence verification · 0-shot
Valores como impressos na ficha, com a configuração do próprio publicador (seção da ficha: Release Notes; Benchmarks); coluna “Phi-3.5-vision-instruct”. Não comparáveis entre publicadores e fora de qualquer ranking. Ficha do modelo
Qualidade × memória
Sem par qualidade × memória comparável
Este registro não tem nota em um benchmark comparado com memória de planejamento.
Microsoft lançou Phi-3.5-vision-instruct em 2024-08-20: um modelo de visão e linguagem que responde sobre imagens, com 4,1B parâmetros pela contagem do Hugging Face e licença MIT. Idiomas declarados pelo publicador: Multilíngue.
Licença: uso comercial permitido. Em Q4 os pesos somam cerca de 3,1 GB antes da reserva de cada máquina; resolução da imagem, quadros de vídeo e contexto somam memória, e o encoder visual precisa de suporte no runtime escolhido.
Roda em
Cabe na memória rápida 118
A estimativa de planejamento cabe na memória que o modelo usa rápido: a VRAM da placa de vídeo, ou a memória unificada dentro da fatia de GPU do macOS.
Mostrar todos os 118
Na memória, fora da parte rápida 1
Dentro da memória da máquina, fora da parte rápida: na placa de vídeo, as camadas que não cabem rodam na CPU a partir da RAM do PC (a RAM informada, ou 32 GB presumidos); no Mac, acima da fatia de GPU padrão do macOS. Não é um número de velocidade.
Perfis de hardware agrupados pela estimativa de planejamento Q4 em cada máquina (GPUs dedicadas reservam 2 GB; memória unificada e do sistema, 25%, de 2 a 8 GB): cabe na memória rápida, fica na memória mas fora da parte rápida (camadas na RAM do PC, ou acima da fatia de GPU do macOS), ou falta um degrau de memória. Não é compatibilidade nem velocidade medida.
Velocidade medida
Nenhuma medição publicada para este checkpoint
Tokens por segundo só aparecem quando uma fonte os publica com hardware, build e configuração. Nunca são estimados.
Como rodar
Compatibilidade de runtime e tokens por segundo não foram medidos para este registro. Metadados publicados e estimativa de memória não comprovam uma execução local.
Biblioteca na fonte: transformers
Formas documentadas de rodar
Copiado como aparece na fonte vinculada (lida em 2026-10-18); não executado por este site.
from PIL import Image
import requests
from transformers import AutoModelForCausalLM
from transformers import AutoProcessor
model_id = "microsoft/Phi-3.5-vision-instruct"
# Note: set _attn_implementation='eager' if you don't have flash_attn installed
model = AutoModelForCausalLM.from_pretrained(
model_id,
device_map="cuda",
trust_remote_code=True,
torch_dtype="auto",
_attn_implementation='flash_attention_2'
)
# for best performance, use num_crops=4 for multi-frame, num_crops=16 for single-frame.
processor = AutoProcessor.from_pretrained(model_id,
trust_remote_code=True,
num_crops=4
)
images = []
placeholder = ""
# Note: if OOM, you might consider reduce number of frames in this example.
for i in range(1,20):
url = f"https://image.slidesharecdn.com/azureintroduction-191206101932/75/Introduction-to-Microsoft-Azure-Cloud-{i}-2048.jpg"
images.append(Image.open(requests.get(url, stream=True).raw))
placeholder += f"<|image_{i}|>\n"
messages = [
{"role": "user", "content": placeholder+"Summarize the deck of slides."},
]
prompt = processor.tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
inputs = processor(prompt, images, return_tensors="pt").to("cuda:0")
generation_args = {
"max_new_tokens": 1000,
"temperature": 0.0,
"do_sample": False,
}
generate_ids = model.generate(**inputs,
eos_token_id=processor.tokenizer.eos_token_id,
**generation_args
)
# remove input tokens
generate_ids = generate_ids[:, inputs['input_ids'].shape[1]:]
response = processor.batch_decode(generate_ids,
skip_special_tokens=True,
clean_up_tokenization_spaces=False)[0]
print(response)Detalhes técnicos
O que a fonte e o catálogo guardam deste checkpoint. Campos ausentes ficam de fora, nunca como zero.
- Checkpoint / fonte
- microsoft/Phi-3.5-vision-instruct
- Tarefa
- image-text-to-text
- Arquitetura
- Phi3VForCausalLM
- Biblioteca na fonte
- transformers
- Licença dos pesos
- MITmicrosoft/Phi-3.5-vision-instruct model card (Hugging Face) · consultado em 2026-10-18fonte
- Uso comercial
- Permitido MIT license text (SPDX) · consultado em 2026-10-18texto da licença
- Idiomas
- MultilíngueMetadados do model card · consultado em 2026-10-25fonte
- Lançamento
- What's new Phi-3.5 Family - Microsoft PhiCookBook (GitHub, microsoft) · consultado em 2026-10-18fonte
Todos os campos guardados
- Revisão conferida
- 12b77fb40b63a2c73c68243d3f767aab688a1b2a
- Arquitetura
- Phi3VForCausalLM
- Biblioteca
- transformers
- Tag de tarefa no Hub
- image-text-to-text
- Formatos
- transformers, safetensors
- Acesso
- Download aberto
- Tipo de publicador
- Oficial
- Repositório criado
- 2024-08-16criação não é o lançamento do modelo
- Repositório atualizado
- 2025-12-10um commit não é data de lançamento
- Downloads no Hub (30 dias) · curtidas
- 486.719 · 748só este repositório · lido em 2026-10-25
- Estado no catálogo
- Config ou pesos encontrados no Hub; sem vínculo de benchmark no inventário
Fontes
Identidade e especificações publicadas vêm da página do checkpoint. As notas pertencem à rodada indicada e não medem velocidade no seu computador.
- Ficha do publicador
- Licença: microsoft/Phi-3.5-vision-instruct model card (Hugging Face)
- Data de lançamento: What's new Phi-3.5 Family - Microsoft PhiCookBook (GitHub, microsoft)
Fatos curados verificados: 2026-10-18. A licença e a data de lançamento citam as fontes do publicador; parâmetros, arquivos e tarefa vêm do registro do Hugging Face, e a memória é uma estimativa rotulada a partir da contagem de parâmetros. Um valor que nenhuma fonte informa fica vazio; um commit do repositório não é a data de lançamento do modelo.






























































