Pular para o conteúdo
Local AI Wizard
Sua máquina
Tema

Phi-3.5-vision-instruct

Microsoft · microsoft/Phi-3.5-vision-instruct

Licença dos pesos: MIT · código e componentes podem ter outros termos

LMArena · visão919 ± 16#22 de 22 com pontuação aqui · 2026-10-19
Memória necessária~4 GBPesos Q4 + margem, antes da reserva da máquina
Parâmetros4,1 BTotal de safetensors no Hub
Repositório atualizado2025-12-10Um commit não é data de lançamento

Qualidade

Informado pelo publicador

28 resultados · ficha de Microsoft · lida em 2026-10-25
Art Style
87,2Release Notes
Counting
54,2Release Notes
Forensic Detection
92,4Release Notes
Functional Correspondence
29,2Release Notes
IQ Test
25,3Release Notes
Jigsaw
68,0Release Notes
Multi-View Reasoning
54,1Release Notes
Object Localization
49,2Release Notes
Todos os resultados informados28
Relative Depth
69,4Release Notes
Relative Reflectance
37,3Release Notes
Semantic Correspondence
36,7Release Notes
Spatial Relation
65,7Release Notes
Visual Correspondence
53,5Release Notes
Visual Similarity
83,0Release Notes
Overall
57,0Release Notes
short (<2min)
60,8Release Notes
medium (4-15min)
47,7Release Notes
long (30-60min)
43,8Release Notes
Overall
50,8Release Notes
MMMU (val)
43,0Benchmarks · Popular aggregated benchmark · 0-shot
MMBench (dev-en)
81,9Benchmarks · Popular aggregated benchmark · 0-shot
ScienceQA (img-test)
91,3Benchmarks · Visual scientific knowledge reasoning · 0-shot
MathVista (testmini)
43,9Benchmarks · Visual math reasoning · 0-shot
InterGPS (test)
36,3Benchmarks · Visual math reasoning · 0-shot
AI2D (test)
78,1Benchmarks · Chart reasoning · 0-shot
ChartQA (test)
81,8Benchmarks · Chart reasoning · 0-shot
TextVQA (val)
72,0Benchmarks · Document Intelligence · 0-shot
POPE (test)
86,1Benchmarks · Object visual presence verification · 0-shot

Valores como impressos na ficha, com a configuração do próprio publicador (seção da ficha: Release Notes; Benchmarks); coluna “Phi-3.5-vision-instruct”. Não comparáveis entre publicadores e fora de qualquer ranking. Ficha do modelo

Qualidade × memória

Sem par qualidade × memória comparável

Este registro não tem nota em um benchmark comparado com memória de planejamento.

Considere para

Microsoft lançou Phi-3.5-vision-instruct em 2024-08-20: um modelo de visão e linguagem que responde sobre imagens, com 4,1B parâmetros pela contagem do Hugging Face e licença MIT. Idiomas declarados pelo publicador: Multilíngue.

Confira antes

Licença: uso comercial permitido. Em Q4 os pesos somam cerca de 3,1 GB antes da reserva de cada máquina; resolução da imagem, quadros de vídeo e contexto somam memória, e o encoder visual precisa de suporte no runtime escolhido.

Roda em

Cabe na memória rápida 118

A estimativa de planejamento cabe na memória que o modelo usa rápido: a VRAM da placa de vídeo, ou a memória unificada dentro da fatia de GPU do macOS.

Mostrar todos os 118

Na memória, fora da parte rápida 1

Dentro da memória da máquina, fora da parte rápida: na placa de vídeo, as camadas que não cabem rodam na CPU a partir da RAM do PC (a RAM informada, ou 32 GB presumidos); no Mac, acima da fatia de GPU padrão do macOS. Não é um número de velocidade.

Perfis de hardware agrupados pela estimativa de planejamento Q4 em cada máquina (GPUs dedicadas reservam 2 GB; memória unificada e do sistema, 25%, de 2 a 8 GB): cabe na memória rápida, fica na memória mas fora da parte rápida (camadas na RAM do PC, ou acima da fatia de GPU do macOS), ou falta um degrau de memória. Não é compatibilidade nem velocidade medida.

Velocidade medida

Nenhuma medição publicada para este checkpoint

Tokens por segundo só aparecem quando uma fonte os publica com hardware, build e configuração. Nunca são estimados.

Como rodar

Compatibilidade de runtime e tokens por segundo não foram medidos para este registro. Metadados publicados e estimativa de memória não comprovam uma execução local.

Biblioteca na fonte: transformers

Formas documentadas de rodar

Copiado como aparece na fonte vinculada (lida em 2026-10-18); não executado por este site.

Transformers · ficha do modelo · Loading the model locally
from PIL import Image 
import requests 
from transformers import AutoModelForCausalLM 
from transformers import AutoProcessor 

model_id = "microsoft/Phi-3.5-vision-instruct" 

# Note: set _attn_implementation='eager' if you don't have flash_attn installed
model = AutoModelForCausalLM.from_pretrained(
  model_id, 
  device_map="cuda", 
  trust_remote_code=True, 
  torch_dtype="auto", 
  _attn_implementation='flash_attention_2'    
)

# for best performance, use num_crops=4 for multi-frame, num_crops=16 for single-frame.
processor = AutoProcessor.from_pretrained(model_id, 
  trust_remote_code=True, 
  num_crops=4
) 

images = []
placeholder = ""

# Note: if OOM, you might consider reduce number of frames in this example.
for i in range(1,20):
    url = f"https://image.slidesharecdn.com/azureintroduction-191206101932/75/Introduction-to-Microsoft-Azure-Cloud-{i}-2048.jpg" 
    images.append(Image.open(requests.get(url, stream=True).raw))
    placeholder += f"<|image_{i}|>\n"

messages = [
    {"role": "user", "content": placeholder+"Summarize the deck of slides."},
]

prompt = processor.tokenizer.apply_chat_template(
  messages, 
  tokenize=False, 
  add_generation_prompt=True
)

inputs = processor(prompt, images, return_tensors="pt").to("cuda:0") 

generation_args = { 
    "max_new_tokens": 1000, 
    "temperature": 0.0, 
    "do_sample": False, 
} 

generate_ids = model.generate(**inputs, 
  eos_token_id=processor.tokenizer.eos_token_id, 
  **generation_args
)

# remove input tokens 
generate_ids = generate_ids[:, inputs['input_ids'].shape[1]:]
response = processor.batch_decode(generate_ids, 
  skip_special_tokens=True, 
  clean_up_tokenization_spaces=False)[0] 

print(response)

Escolher meu computador

Detalhes técnicos

O que a fonte e o catálogo guardam deste checkpoint. Campos ausentes ficam de fora, nunca como zero.

Tarefa
image-text-to-text
Arquitetura
Phi3VForCausalLM
Biblioteca na fonte
transformers
Licença dos pesos
MITmicrosoft/Phi-3.5-vision-instruct model card (Hugging Face) · consultado em 2026-10-18fonte
Uso comercial
Permitido MIT license text (SPDX) · consultado em 2026-10-18texto da licença
Idiomas
MultilíngueMetadados do model card · consultado em 2026-10-25fonte
Lançamento
What's new Phi-3.5 Family - Microsoft PhiCookBook (GitHub, microsoft) · consultado em 2026-10-18fonte
Todos os campos guardados11 campos
Revisão conferida
12b77fb40b63a2c73c68243d3f767aab688a1b2a
Arquitetura
Phi3VForCausalLM
Biblioteca
transformers
Tag de tarefa no Hub
image-text-to-text
Formatos
transformers, safetensors
Acesso
Download aberto
Tipo de publicador
Oficial
Repositório criado
2024-08-16criação não é o lançamento do modelo
Repositório atualizado
2025-12-10um commit não é data de lançamento
Downloads no Hub (30 dias) · curtidas
486.719 · 748só este repositório · lido em 2026-10-25
Estado no catálogo
Config ou pesos encontrados no Hub; sem vínculo de benchmark no inventário

Fontes

Identidade e especificações publicadas vêm da página do checkpoint. As notas pertencem à rodada indicada e não medem velocidade no seu computador.

Fatos curados verificados: 2026-10-18. A licença e a data de lançamento citam as fontes do publicador; parâmetros, arquivos e tarefa vêm do registro do Hugging Face, e a memória é uma estimativa rotulada a partir da contagem de parâmetros. Um valor que nenhuma fonte informa fica vazio; um commit do repositório não é a data de lançamento do modelo.