IA local, o básico: o que significam 9B, Q4 e VRAM?
As ideias por trás de cada número do site, uma seção curta para cada.
Artigos curtos, uma pergunta cada, respondida com os números do próprio site.
As ideias por trás de cada número do site, uma seção curta para cada.
Pesos do modelo, folga para trabalhar, a conversa e o seu sistema, somados.
Instale um app, escolha um arquivo que caiba na sua memória e rode seu primeiro modelo.
Cerca de 29 GB para um modelo 27B em Q4 num Mac ou PC de 32 GB+, 23 GB numa placa de vídeo.
A placa de vídeo usa só a VRAM; um Mac de 128 GB oferece cerca de 104 GB a um modelo.
Sim, os pequenos: uma placa de 8 GB comporta modelos até uns 8B de parâmetros em Q4.
Um cache KV que cresce por token: 4,8 GB com 32.768 tokens no Qwen3 8B, quase o tamanho do arquivo Q4.
13 modelos revisados rodam bem com 8 GB; Granite 4.2 3B lidera pelo LMArena.
21 modelos revisados rodam bem com 16 GB; Granite 4.2 3B lidera pelo LMArena.
35 modelos revisados rodam bem com 32 GB; Gemma 4 31B lidera pelo LMArena.
8 de 21 modelos de imagem com caminho documentado cabem em 16 GB; o FLUX.2 [klein] 4B pede 13 GB.
Menos bits por número: o Qwen3.5 9B cai de 17,9 GB para 5,7 GB em Q4_K_M.
Comece pelo Q4_K_M: 16,8 GB no Qwen3.6 27B, contra 53,8 GB em BF16.
GGUF abre em todo lugar; MLX só em Macs com Apple silicon. Qwen3 4B: 2,5 GB contra 2,3 GB em 4 bits.
GGUF e MLX são formatos do mesmo modelo; fine-tunes e cópias abliterated são modelos alterados.
Uma linha em vários tamanhos: na Qwen3.5, o 9B pede cerca de 15 GB em Q4 e o 35B, 35 GB.
A memória segue o total: o Qwen3.5 35B A3B pede cerca de 35 GB em Q4, pelos 35B, não pelos 3B.
195 de 260 modelos revisados permitem uso comercial livre; 16 proíbem. Confira a licença dos pesos.
Embeddings movem busca e RAG; o Qwen3-Embedding 0.6B pede cerca de 3 GB, então quase qualquer máquina roda um.
6 de 16 modelos de visão com nota rodam bem numa placa de 24 GB; o Qwen3.8 27B lidera.
Um token é um pedaço de palavra; um Mac mini M4 escreve 24,1 por segundo com um modelo 7B, mais rápido que a leitura.
A banda de memória: o mesmo arquivo 7B roda a 65 tokens/s com 320 GB/s e a 189 com 1.008 GB/s.
Roda devagar a partir da RAM do PC: uma placa de 8 GB com 32 GB de RAM chega a modelos de até 32 GB.
Instale um app e escolha um arquivo que caiba: o Qwen3.5 9B em Q4_K_M baixa 5,7 GB.
27B de parâmetros em Q4 ocupam uns 17 GB; a memória, não a velocidade, decide o que roda.
Três fontes, três escalas, nunca misturadas: 22 modelos têm LiveBench, 25 LMArena e 16 embeddings MTEB.
Placa pela velocidade, Mac pelo tamanho: uma RTX 4090 24 GB roda até 27B em Q4, um Mac Studio de 64 GB até 49B.
O Whisper large-v3-turbo pede cerca de 6 GB de memória de GPU; o large-v3 cerca de 10 GB.
Cada tópico abre a sua seção do artigo IA local, o básico.