Pular para o conteúdo
Local AI Wizard
Sua máquina
Tema

Phi-4-multimodal-instruct

Microsoft · microsoft/Phi-4-multimodal-instruct

Licença dos pesos: MIT · código e componentes podem ter outros termos

Informado pelo publicador20 resultadosFicha de Microsoft · lida em 2026-10-25 · sem ranking · ver
Memória necessária~5 GBPesos Q4 + margem, antes da reserva da máquina
Parâmetros5,6 BTotal de safetensors no Hub
Repositório atualizado2025-12-10Um commit não é data de lançamento

Qualidade

Sem score comparável

Ainda não acompanhamos benchmark público e comparável que cubra este modelo. Nenhuma nota é inferida.

Informado pelo publicador

20 resultados · ficha de Microsoft · lida em 2026-10-25
s_AI2D
68,9Vision-Speech tasks
s_ChartQA
69,0Vision-Speech tasks
s_DocVQA
87,3Vision-Speech tasks
s_InfoVQA
63,7Vision-Speech tasks
Average
72,2Vision-Speech tasks
Art Style
86,3Visual Perception
Counting
60,0Visual Perception
Forensic Detection
90,2Visual Perception
Todos os resultados informados20
Functional Correspondence
30,0Visual Perception
IQ Test
22,7Visual Perception
Jigsaw
68,7Visual Perception
Multi-View Reasoning
76,7Visual Perception
Object Localization
52,5Visual Perception
Relative Depth
69,4Visual Perception
Relative Reflectance
26,9Visual Perception
Semantic Correspondence
52,5Visual Perception
Spatial Relation
72,7Visual Perception
Visual Correspondence
67,4Visual Perception
Visual Similarity
86,7Visual Perception
Overall
61,6Visual Perception

Valores como impressos na ficha, com a configuração do próprio publicador (seção da ficha: Model Quality › Vision › Vision-Speech tasks; Model Quality › Vision tasks › Visual Perception); coluna “Phi-4-multimodal-instruct”. Não comparáveis entre publicadores e fora de qualquer ranking. Ficha do modelo

Roda em

Cabe na memória rápida 114

A estimativa de planejamento cabe na memória que o modelo usa rápido: a VRAM da placa de vídeo, ou a memória unificada dentro da fatia de GPU do macOS.

Mostrar todos os 114

Na memória, fora da parte rápida 5

Dentro da memória da máquina, fora da parte rápida: na placa de vídeo, as camadas que não cabem rodam na CPU a partir da RAM do PC (a RAM informada, ou 32 GB presumidos); no Mac, acima da fatia de GPU padrão do macOS. Não é um número de velocidade.

Mostrar todos os 5

Perfis de hardware agrupados pela estimativa de planejamento Q4 em cada máquina (GPUs dedicadas reservam 2 GB; memória unificada e do sistema, 25%, de 2 a 8 GB): cabe na memória rápida, fica na memória mas fora da parte rápida (camadas na RAM do PC, ou acima da fatia de GPU do macOS), ou falta um degrau de memória. Não é compatibilidade nem velocidade medida.

Considere para

Microsoft lançou Phi-4-multimodal-instruct em 2025-02: um modelo de visão e linguagem que responde sobre imagens, com 5,6B parâmetros pela contagem do Hugging Face e licença MIT. Idiomas declarados pelo publicador: ar, zh, cs, da, nl, en, fi, fr, de, he, hu, it, ja, ko, no, pl, pt, ru, es, sv, th, tr, uk.

Confira antes

Licença: uso comercial permitido. Em Q4 os pesos somam cerca de 4,2 GB antes da reserva de cada máquina; resolução da imagem, quadros de vídeo e contexto somam memória, e o encoder visual precisa de suporte no runtime escolhido.

Velocidade medida

Nenhuma medição publicada para este checkpoint

Tokens por segundo só aparecem quando uma fonte os publica com hardware, build e configuração. Nunca são estimados.

Como rodar

Compatibilidade de runtime e tokens por segundo não foram medidos para este registro. Metadados publicados e estimativa de memória não comprovam uma execução local.

Biblioteca na fonte: transformers

Formas documentadas de rodar

Copiado como aparece na fonte vinculada (lida em 2026-10-18); não executado por este site.

Transformers · ficha do modelo · Loading the model locally
import requests
import torch
import os
import io
from PIL import Image
import soundfile as sf
from transformers import AutoModelForCausalLM, AutoProcessor, GenerationConfig
from urllib.request import urlopen


# Define model path
model_path = "microsoft/Phi-4-multimodal-instruct"

# Load model and processor
processor = AutoProcessor.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_path, 
    device_map="cuda", 
    torch_dtype="auto", 
    trust_remote_code=True,
    # if you do not use Ampere or later GPUs, change attention to "eager"
    _attn_implementation='flash_attention_2',
).cuda()

# Load generation config
generation_config = GenerationConfig.from_pretrained(model_path)

# Define prompt structure
user_prompt = '<|user|>'
assistant_prompt = '<|assistant|>'
prompt_suffix = '<|end|>'

# Part 1: Image Processing
print("\n--- IMAGE PROCESSING ---")
image_url = 'https://www.ilankelman.org/stopsigns/australia.jpg'
prompt = f'{user_prompt}<|image_1|>What is shown in this image?{prompt_suffix}{assistant_prompt}'
print(f'>>> Prompt\n{prompt}')

# Download and open image
image = Image.open(requests.get(image_url, stream=True).raw)
inputs = processor(text=prompt, images=image, return_tensors='pt').to('cuda:0')

# Generate response
generate_ids = model.generate(
    **inputs,
    max_new_tokens=1000,
    generation_config=generation_config,
)
generate_ids = generate_ids[:, inputs['input_ids'].shape[1]:]
response = processor.batch_decode(
    generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False
)[0]
print(f'>>> Response\n{response}')

# Part 2: Audio Processing
print("\n--- AUDIO PROCESSING ---")
audio_url = "https://upload.wikimedia.org/wikipedia/commons/b/b0/Barbara_Sahakian_BBC_Radio4_The_Life_Scientific_29_May_2012_b01j5j24.flac"
speech_prompt = "Transcribe the audio to text, and then translate the audio to French. Use <sep> as a separator between the original transcript and the translation."
prompt = f'{user_prompt}<|audio_1|>{speech_prompt}{prompt_suffix}{assistant_prompt}'
print(f'>>> Prompt\n{prompt}')

# Downlowd and open audio file
audio, samplerate = sf.read(io.BytesIO(urlopen(audio_url).read()))

# Process with the model
inputs = processor(text=prompt, audios=[(audio, samplerate)], return_tensors='pt').to('cuda:0')

generate_ids = model.generate(
    **inputs,
    max_new_tokens=1000,
    generation_config=generation_config,
)
generate_ids = generate_ids[:, inputs['input_ids'].shape[1]:]
response = processor.batch_decode(
    generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False
)[0]
print(f'>>> Response\n{response}')

Escolher meu computador

Detalhes técnicos

O que a fonte e o catálogo guardam deste checkpoint. Campos ausentes ficam de fora, nunca como zero.

Tarefa
reconhecimento automático de fala
Arquitetura
Phi4MMForCausalLM
Biblioteca na fonte
transformers
Licença dos pesos
MITmicrosoft/Phi-4-multimodal-instruct model card (Hugging Face) · consultado em 2026-10-18fonte
Uso comercial
Permitido MIT license text (SPDX) · consultado em 2026-10-18texto da licença
Idiomas
ar, zh, cs, da, nl, en, fi, fr, de, he, hu, it, ja, ko, no, pl, pt, ru, es, sv, th, tr, ukMetadados do model card · consultado em 2026-10-25fonte
Lançamento
Phi-4-multimodal-instruct model card, 'Release date: February 2025' (Microsoft, Hugging Face) · consultado em 2026-10-18fonte
Todos os campos guardados11 campos
Revisão conferida
93f923e1a7727d1c4f446756212d9d3e8fcc5d81
Arquitetura
Phi4MMForCausalLM
Biblioteca
transformers
Tag de tarefa no Hub
automatic-speech-recognition
Formatos
transformers, safetensors
Acesso
Download aberto
Tipo de publicador
Oficial
Repositório criado
2025-02-24criação não é o lançamento do modelo
Repositório atualizado
2025-12-10um commit não é data de lançamento
Downloads no Hub (30 dias) · curtidas
111.473 · 1.626só este repositório · lido em 2026-10-25
Estado no catálogo
Config ou pesos encontrados no Hub; sem vínculo de benchmark no inventário

Fontes

Identidade e especificações publicadas vêm da página do checkpoint. As notas pertencem à rodada indicada e não medem velocidade no seu computador.

Fatos curados verificados: 2026-10-18. A licença e a data de lançamento citam as fontes do publicador; parâmetros, arquivos e tarefa vêm do registro do Hugging Face, e a memória é uma estimativa rotulada a partir da contagem de parâmetros. Um valor que nenhuma fonte informa fica vazio; um commit do repositório não é a data de lançamento do modelo.