Pular para o conteúdo
Local AI Wizard
Sua máquina
Tema

granite-docling-258M

IBM · ibm-granite/granite-docling-258M

Licença dos pesos: Apache 2.0 · código e componentes podem ter outros termos

Informado pelo publicador8 resultadosFicha de IBM · lida em 2026-10-25 · sem ranking · ver
Memória necessária~1 GBPesos Q4 + margem, antes da reserva da máquina
Parâmetros0,3 BTotal de safetensors no Hub
Repositório atualizado2025-09-23Um commit não é data de lançamento

Qualidade

Sem score comparável

Ainda não acompanhamos benchmark público e comparável que cubra este modelo. Nenhuma nota é inferida.

Informado pelo publicador

8 resultados · ficha de IBM · lida em 2026-10-25
Layout · MAP ↑
0,27lmms-eval
Layout · F1 ↑
0,86lmms-eval
Layout · Precision ↑
0,92lmms-eval
Layout · Recall ↑
0,88lmms-eval
Table Recognition · TEDS ↑ (FinTabNet 150dpi; structure)
0,97
Table Recognition · TEDS ↑ (FinTabNet 150dpi; w/content)
0,96
Other Benchmarks · MMStar ↑
0,30
Other Benchmarks · OCRBench ↑
500

Valores como impressos na ficha, com a configuração do próprio publicador (seção da ficha: Evaluations); coluna “granite-docling-258m”. Não comparáveis entre publicadores e fora de qualquer ranking. Ficha do modelo

Roda em

Cabe na memória rápida 119

A estimativa de planejamento cabe na memória que o modelo usa rápido: a VRAM da placa de vídeo, ou a memória unificada dentro da fatia de GPU do macOS.

Mostrar todos os 119

Perfis de hardware agrupados pela estimativa de planejamento Q4 em cada máquina (GPUs dedicadas reservam 2 GB; memória unificada e do sistema, 25%, de 2 a 8 GB): cabe na memória rápida, fica na memória mas fora da parte rápida (camadas na RAM do PC, ou acima da fatia de GPU do macOS), ou falta um degrau de memória. Não é compatibilidade nem velocidade medida.

Considere para

IBM lançou granite-docling-258M em 2025-09-17: um modelo de visão e linguagem que responde sobre imagens, com 300M parâmetros pela contagem do Hugging Face e licença Apache 2.0. Idiomas declarados pelo publicador: en.

Confira antes

Licença: uso comercial permitido. Em Q4 os pesos somam cerca de 0,2 GB antes da reserva de cada máquina; resolução da imagem, quadros de vídeo e contexto somam memória, e o encoder visual precisa de suporte no runtime escolhido.

Velocidade medida

Nenhuma medição publicada para este checkpoint

Tokens por segundo só aparecem quando uma fonte os publica com hardware, build e configuração. Nunca são estimados.

Como rodar

Compatibilidade de runtime e tokens por segundo não foram medidos para este registro. Metadados publicados e estimativa de memória não comprovam uma execução local.

Biblioteca na fonte: transformers

Formas documentadas de rodar

Copiado como aparece na fonte vinculada (lida em 2026-10-18); não executado por este site.

Docling · ficha do modelo · Getting started
# Convert to HTML and Markdown:
docling --to html --to md --pipeline vlm --vlm-model granite_docling "https://arxiv.org/pdf/2501.17887" # accepts files, urls or directories

# Convert to HTML including layout visualization:
docling --to html_split_page --show-layout --pipeline vlm --vlm-model granite_docling "https://arxiv.org/pdf/2501.17887"
Transformers · ficha do modelo · Getting started
# Prerequisites:
# pip install torch
# pip install docling_core
# pip install transformers

import torch
from docling_core.types.doc import DoclingDocument
from docling_core.types.doc.document import DocTagsDocument
from transformers import AutoProcessor, AutoModelForVision2Seq
from transformers.image_utils import load_image
from pathlib import Path

DEVICE = "cuda" if torch.cuda.is_available() else "cpu"

# Load images
image = load_image("https://huggingface.co/ibm-granite/granite-docling-258M/resolve/main/assets/new_arxiv.png")

# Initialize processor and model
processor = AutoProcessor.from_pretrained("ibm-granite/granite-docling-258M")
model = AutoModelForVision2Seq.from_pretrained(
    "ibm-granite/granite-docling-258M",
    torch_dtype=torch.bfloat16,
    _attn_implementation="flash_attention_2" if DEVICE == "cuda" else "sdpa",
).to(DEVICE)

# Create input messages
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image"},
            {"type": "text", "text": "Convert this page to docling."}
        ]
    },
]

# Prepare inputs
prompt = processor.apply_chat_template(messages, add_generation_prompt=True)
inputs = processor(text=prompt, images=[image], return_tensors="pt")
inputs = inputs.to(DEVICE)

# Generate outputs
generated_ids = model.generate(**inputs, max_new_tokens=8192)
prompt_length = inputs.input_ids.shape[1]
trimmed_generated_ids = generated_ids[:, prompt_length:]
doctags = processor.batch_decode(
    trimmed_generated_ids,
    skip_special_tokens=False,
)[0].lstrip()

print(f"DocTags: \n{doctags}\n")


# Populate document
doctags_doc = DocTagsDocument.from_doctags_and_image_pairs([doctags], [image])
# create a docling document
doc = DoclingDocument.load_from_doctags(doctags_doc, document_name="Document")
print(f"Markdown:\n{doc.export_to_markdown()}\n")

## export as any format.
# Path("out/").mkdir(parents=True, exist_ok=True)
# HTML:
# output_path_html = Path("out/") / "example.html"
# doc.save_as_html(output_path_html)
# Markdown:
# output_path_md = Path("out/") / "example.md"
# doc.save_as_markdown(output_path_md)
vLLM · ficha do modelo · Getting started
# Prerequisites:
# pip install vllm
# pip install docling_core
# place page images you want to convert into "img/" dir

import time
import os
from vllm import LLM, SamplingParams
from transformers import AutoProcessor
from PIL import Image
from docling_core.types.doc import DoclingDocument
from docling_core.types.doc.document import DocTagsDocument
from pathlib import Path

# Configuration
MODEL_PATH = "ibm-granite/granite-docling-258M"
IMAGE_DIR = "img/"  # Place your page images here
OUTPUT_DIR = "out/"
PROMPT_TEXT = "Convert this page to docling."

messages = [
    {
        "role": "user",
        "content": [
            {"type": "image"},
            {"type": "text", "text": PROMPT_TEXT},
        ],
    },
]


# Ensure output directory exists
os.makedirs(OUTPUT_DIR, exist_ok=True)

# Initialize LLM
llm = LLM(model=MODEL_PATH, revision="untied", limit_mm_per_prompt={"image": 1})
processor = AutoProcessor.from_pretrained(MODEL_PATH)

sampling_params = SamplingParams(
    temperature=0.0,
    max_tokens=8192,
    skip_special_tokens=False,
)

# Load and prepare all images and prompts up front
batched_inputs = []
image_names = []

for img_file in sorted(os.listdir(IMAGE_DIR)):
    if img_file.lower().endswith((".png", ".jpg", ".jpeg")):
        img_path = os.path.join(IMAGE_DIR, img_file)
        with Image.open(img_path) as im:
            image = im.convert("RGB")

        prompt = processor.apply_chat_template(messages, add_generation_prompt=True)
        batched_inputs.append({"prompt": prompt, "multi_modal_data": {"image": image}})
        image_names.append(os.path.splitext(img_file)[0])

# Run batch inference
start_time = time.time()
outputs = llm.generate(batched_inputs, sampling_params=sampling_params)

# Postprocess all results
for img_fn, output, input_data in zip(image_names, outputs, batched_inputs):
    doctags = output.outputs[0].text
    output_path_dt = Path(OUTPUT_DIR) / f"{img_fn}.dt"
    output_path_md = Path(OUTPUT_DIR) / f"{img_fn}.md"

    with open(output_path_dt, "w", encoding="utf-8") as f:
        f.write(doctags)

    # Convert to DoclingDocument and save markdown
    doctags_doc = DocTagsDocument.from_doctags_and_image_pairs([doctags], [input_data["multi_modal_data"]["image"]])
    doc = DoclingDocument.load_from_doctags(doctags_doc, document_name="Document")
    doc.save_as_markdown(output_path_md)

print(f"Total time: {time.time() - start_time:.2f} sec")

Escolher meu computador

Detalhes técnicos

O que a fonte e o catálogo guardam deste checkpoint. Campos ausentes ficam de fora, nunca como zero.

Tarefa
image-text-to-text
Arquitetura
Idefics3ForConditionalGeneration
Biblioteca na fonte
transformers
Licença dos pesos
Apache 2.0ibm-granite/granite-docling-258M model card (Hugging Face) · consultado em 2026-10-18fonte
Uso comercial
Permitido Apache License 2.0 text (SPDX) · consultado em 2026-10-18texto da licença
Idiomas
enMetadados do model card · consultado em 2026-10-25fonte
Lançamento
granite-docling-258M model card (Hugging Face, IBM) · consultado em 2026-10-18fonte
Todos os campos guardados11 campos
Revisão conferida
982fe3b40f2fa73c365bdb1bcacf6c81b7184bfe
Arquitetura
Idefics3ForConditionalGeneration
Biblioteca
transformers
Tag de tarefa no Hub
image-text-to-text
Formatos
transformers, safetensors
Acesso
Download aberto
Tipo de publicador
Oficial
Repositório criado
2025-05-19criação não é o lançamento do modelo
Repositório atualizado
2025-09-23um commit não é data de lançamento
Downloads no Hub (30 dias) · curtidas
295.829 · 1.285só este repositório · lido em 2026-10-25
Estado no catálogo
Config ou pesos encontrados no Hub; sem vínculo de benchmark no inventário

Fontes

Identidade e especificações publicadas vêm da página do checkpoint. As notas pertencem à rodada indicada e não medem velocidade no seu computador.

Fatos curados verificados: 2026-10-18. A licença e a data de lançamento citam as fontes do publicador; parâmetros, arquivos e tarefa vêm do registro do Hugging Face, e a memória é uma estimativa rotulada a partir da contagem de parâmetros. Um valor que nenhuma fonte informa fica vazio; um commit do repositório não é a data de lançamento do modelo.