cogvlm2-llama3-caption
Z.ai · zai-org/cogvlm2-llama3-caption
Licença dos pesos: Termos do publicador: cogvlm2 · código e componentes podem ter outros termos
Qualidade
Sem score comparável
Ainda não acompanhamos benchmark público e comparável que cubra este modelo. Nenhuma nota é inferida.
Informado pelo publicador
Roda em
Cabe na memória rápida 90
A estimativa de planejamento cabe na memória que o modelo usa rápido: a VRAM da placa de vídeo, ou a memória unificada dentro da fatia de GPU do macOS.
Mostrar todos os 90
Na memória, fora da parte rápida 26
Dentro da memória da máquina, fora da parte rápida: na placa de vídeo, as camadas que não cabem rodam na CPU a partir da RAM do PC (a RAM informada, ou 32 GB presumidos); no Mac, acima da fatia de GPU padrão do macOS. Não é um número de velocidade.
Mostrar todos os 26
Falta um degrau de memória 3
As mesmas máquinas com o próximo tamanho de memória o comportariam na memória rápida.
Perfis de hardware agrupados pela estimativa de planejamento Q4 em cada máquina (GPUs dedicadas reservam 2 GB; memória unificada e do sistema, 25%, de 2 a 8 GB): cabe na memória rápida, fica na memória mas fora da parte rápida (camadas na RAM do PC, ou acima da fatia de GPU do macOS), ou falta um degrau de memória. Não é compatibilidade nem velocidade medida.
Z.ai lançou cogvlm2-llama3-caption em 2024-09-19: um modelo de visão e linguagem para vídeo e imagens, com 12,5B parâmetros pela contagem do Hugging Face e licença Termos do publicador: cogvlm2. Idiomas declarados pelo publicador: en.
Licença: uso comercial permitido com condições: Registro na Zhipu AI antes do uso comercial. Em Q4 os pesos somam cerca de 9,4 GB antes da reserva de cada máquina; resolução da imagem, quadros de vídeo e contexto somam memória, e o encoder visual precisa de suporte no runtime escolhido.
Velocidade medida
Nenhuma medição publicada para este checkpoint
Tokens por segundo só aparecem quando uma fonte os publica com hardware, build e configuração. Nunca são estimados.
Como rodar
Compatibilidade de runtime e tokens por segundo não foram medidos para este registro. Metadados publicados e estimativa de memória não comprovam uma execução local.
Biblioteca na fonte: transformers
Formas documentadas de rodar
Copiado como aparece na fonte vinculada (lida em 2026-10-18); não executado por este site.
import io
import argparse
import numpy as np
import torch
from decord import cpu, VideoReader, bridge
from transformers import AutoModelForCausalLM, AutoTokenizer
MODEL_PATH = "THUDM/cogvlm2-llama3-caption"
DEVICE = 'cuda' if torch.cuda.is_available() else 'cpu'
TORCH_TYPE = torch.bfloat16 if torch.cuda.is_available() and torch.cuda.get_device_capability()[
0] >= 8 else torch.float16
parser = argparse.ArgumentParser(description="CogVLM2-Video CLI Demo")
parser.add_argument('--quant', type=int, choices=[4, 8], help='Enable 4-bit or 8-bit precision loading', default=0)
args = parser.parse_args([])
def load_video(video_data, strategy='chat'):
bridge.set_bridge('torch')
mp4_stream = video_data
num_frames = 24
decord_vr = VideoReader(io.BytesIO(mp4_stream), ctx=cpu(0))
frame_id_list = None
total_frames = len(decord_vr)
if strategy == 'base':
clip_end_sec = 60
clip_start_sec = 0
start_frame = int(clip_start_sec * decord_vr.get_avg_fps())
end_frame = min(total_frames,
int(clip_end_sec * decord_vr.get_avg_fps())) if clip_end_sec is not None else total_frames
frame_id_list = np.linspace(start_frame, end_frame - 1, num_frames, dtype=int)
elif strategy == 'chat':
timestamps = decord_vr.get_frame_timestamp(np.arange(total_frames))
timestamps = [i[0] for i in timestamps]
max_second = round(max(timestamps)) + 1
frame_id_list = []
for second in range(max_second):
closest_num = min(timestamps, key=lambda x: abs(x - second))
index = timestamps.index(closest_num)
frame_id_list.append(index)
if len(frame_id_list) >= num_frames:
break
video_data = decord_vr.get_batch(frame_id_list)
video_data = video_data.permute(3, 0, 1, 2)
return video_data
tokenizer = AutoTokenizer.from_pretrained(
MODEL_PATH,
trust_remote_code=True,
)
model = AutoModelForCausalLM.from_pretrained(
MODEL_PATH,
torch_dtype=TORCH_TYPE,
trust_remote_code=True
).eval().to(DEVICE)
def predict(prompt, video_data, temperature):
strategy = 'chat'
video = load_video(video_data, strategy=strategy)
history = []
query = prompt
inputs = model.build_conversation_input_ids(
tokenizer=tokenizer,
query=query,
images=[video],
history=history,
template_version=strategy
)
inputs = {
'input_ids': inputs['input_ids'].unsqueeze(0).to('cuda'),
'token_type_ids': inputs['token_type_ids'].unsqueeze(0).to('cuda'),
'attention_mask': inputs['attention_mask'].unsqueeze(0).to('cuda'),
'images': [[inputs['images'][0].to('cuda').to(TORCH_TYPE)]],
}
gen_kwargs = {
"max_new_tokens": 2048,
"pad_token_id": 128002,
"top_k": 1,
"do_sample": False,
"top_p": 0.1,
"temperature": temperature,
}
with torch.no_grad():
outputs = model.generate(**inputs, **gen_kwargs)
outputs = outputs[:, inputs['input_ids'].shape[1]:]
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
return response
def test():
prompt = "Please describe this video in detail."
temperature = 0.1
video_data = open('test.mp4', 'rb').read()
response = predict(prompt, video_data, temperature)
print(response)
if __name__ == '__main__':
test()Detalhes técnicos
O que a fonte e o catálogo guardam deste checkpoint. Campos ausentes ficam de fora, nunca como zero.
- Checkpoint / fonte
- zai-org/cogvlm2-llama3-caption
- Tarefa
- video-text-to-text
- Arquitetura
- CogVLMVideoForCausalLM
- Biblioteca na fonte
- transformers
- Licença dos pesos
- Termos do publicador: cogvlm2zai-org/cogvlm2-llama3-caption model card (Hugging Face) · consultado em 2026-10-18fonte
- Uso comercial
- Permitido com condições Registro na Zhipu AI antes do uso comercial · CogVLM2 license (zai-org/cogvlm2-llama3-chat-19B LICENSE) · consultado em 2026-10-18texto da licença
- Idiomas
- enMetadados do model card · consultado em 2026-10-25fonte
- Lançamento
- CogVideo README news (GitHub, THUDM/Zhipu AI) · consultado em 2026-10-18fonte
Todos os campos guardados
- Revisão conferida
- df8ec7b6de0eb36bab0549267bf322b17202ba24
- Arquitetura
- CogVLMVideoForCausalLM
- Biblioteca
- transformers
- Tag de tarefa no Hub
- video-text-to-text
- Modelos base declarados
- meta-llama/Meta-Llama-3.1-8B-Instruct
- Formatos
- safetensors
- Acesso
- Download aberto
- Tipo de publicador
- Oficial
- Repositório criado
- 2024-09-18criação não é o lançamento do modelo
- Repositório atualizado
- 2025-05-14um commit não é data de lançamento
- Downloads no Hub (30 dias) · curtidas
- 335 · 119só este repositório · lido em 2026-10-25
- Lido na página do Hub
- classe transformers, tags de tarefaVisão geral e lista de arquivos do Hub · lido em 2026-10-18
- Estado no catálogo
- Config ou pesos encontrados no Hub; sem vínculo de benchmark no inventário
Fontes
Identidade e especificações publicadas vêm da página do checkpoint. As notas pertencem à rodada indicada e não medem velocidade no seu computador.
- Ficha do publicador
- Licença: zai-org/cogvlm2-llama3-caption model card (Hugging Face)
- Data de lançamento: CogVideo README news (GitHub, THUDM/Zhipu AI)
Fatos curados verificados: 2026-10-18. A licença e a data de lançamento citam as fontes do publicador; parâmetros, arquivos e tarefa vêm do registro do Hugging Face, e a memória é uma estimativa rotulada a partir da contagem de parâmetros. Um valor que nenhuma fonte informa fica vazio; um commit do repositório não é a data de lançamento do modelo.






























































