IA local y personalización Inteligencia artificial

Qué ordenador necesitas para ejecutar inteligencia artificial local

¿Me sirve mi ordenador para IA local? Probablemente sí, con matices. Un equipo con 8 o 16 GB de RAM y sin gráfica dedicada suele poder probar modelos pequeños. Al subir de gama cambian el tamaño del modelo que puedes mover y la rapidez de respuesta. No hace falta gastar miles de euros para empezar.

Una advertencia: aquí no hemos ejecutado modelos en condiciones comparables, así que no hay benchmarks ni promesas de velocidad. Las cifras salen de documentación oficial y las tablas son orientativas.

Qué significa ejecutar una IA local

Ejecutar una IA local es descargar los «pesos» del modelo (el archivo con lo que aprendió) y hacer que tu ordenador genere las respuestas. El texto no sale del equipo: la documentación de Ollama dice que no ven tus prompts ni tus datos al ejecutarlo en local. El panorama general lo tienes en nuestro artículo sobre qué significa tener una inteligencia artificial en tu ordenador.

El tamaño manda porque, mientras genera, los pesos deben estar en memoria, como las herramientas sobre el banco de un taller. Conviene separar tres ideas:

El requisito de instalación: lo que pide el programa para abrirse.
La memoria para cargar el modelo: el archivo más el contexto.
Los recursos durante la ejecución: caché de contexto, reparto entre GPU y CPU y calor.

Que el programa se instale no garantiza que el modelo quepa.

El procesador (CPU)

La CPU es el procesador general. Puede ejecutar modelos sin gráfica dedicada, sobre todo pequeños, aunque más despacio. La documentación de Ollama muestra «100% CPU» en la columna PROCESSOR de ollama ps cuando el modelo se carga entero en la memoria del sistema.

Además, la CPU participa siempre, también cuando hay GPU: prepara el trabajo y atiende las capas que no caben en la gráfica. Para modelos de 1B a 4B en Q4, un equipo doméstico puede bastar para tareas sencillas, con algo más de paciencia.

RAM frente a VRAM

La RAM es la memoria del sistema: la usa la CPU y, en Apple Silicon, también la GPU. La VRAM es la memoria dedicada de la tarjeta gráfica y solo la usa la GPU.

Piensa en una cocina. La RAM es la encimera entera; la VRAM, una bandeja pequeña pero rapidísima junto a la plancha. Un modelo puede caber en la encimera y no en la bandeja, igual que un sofá cabe en el salón pero no en el ascensor. Si entra entero en la bandeja, la GPU trabaja a gusto; si no, parte del trabajo se va a la encimera.

Qué hace una GPU

Una GPU procesa muchas operaciones en paralelo y su memoria tiene mucho más ancho de banda. Generar cada «token» (una palabra o un trozo de palabra) obliga a recorrer los pesos, así que tenerlos en VRAM acelera las respuestas.

Ollama intenta cargar el modelo en la GPU y reparte capas si no cabe. Según su documentación de soporte de GPU, admite NVIDIA (compute capability 5.0 o superior y controladores recientes), AMD con ROCm o Vulkan y Apple Silicon. Que una gráfica sea potente no implica que tu programa la aproveche: compruébalo.

Almacenamiento: SSD y espacio

Los modelos son archivos; el formato GGUF es habitual. Según el README de cuantización de llama.cpp, Llama 3.1 8B ocupa 32,1 GB en FP16 y 4,9 GB en Q4_K_M. El 70B pasa de 280,9 GB a 43,1 GB en Q4_K_M. Son tamaños de pesos; el contexto suma aparte.

Ollama los guarda por defecto en C:\Users\%username%\.ollama\models (Windows), ~/.ollama/models (macOS) o /usr/share/ollama/.ollama/models (Linux). Un SSD ayuda en la primera carga, que lee varios GB del disco. Y vigila el espacio: los modelos se acumulan como los táperes en el congelador.

Esquema didáctico de un ordenador con cinco componentes etiquetados: «CPU: procesa; puede ejecutar sin GPU», «RAM: memoria de trabajo», «GPU: acelera la generación», «VRAM: memoria propia de la GPU» y «SSD: guarda los modelos». — Cada componente aporta algo: procesar, guardar en memoria, acelerar o almacenar los modelos.

Parámetros y cuantización

La «B» de 3B, 8B, 14B o 32B son miles de millones de parámetros. Más parámetros suelen dar más capacidad potencial y exigir más memoria. En la biblioteca de Ollama, Gemma 3 llega en 270M, 1B, 4B, 12B y 27B, y Llama 3.2 en 1B y 3B.

La cuantización guarda los pesos con menos precisión. A grandes rasgos, FP16 usa unos 2 bytes por parámetro, Q8 cerca de 1 y Q4_K_M cerca de 0,5. llama.cpp mide unos 4,84 bits por peso en Q4_K_M y unos 8,5 en Q8_0.

Con eso sale una cuenta aproximada: GB de pesos ≈ miles de millones de parámetros × bits por peso ÷ 8. Para 8B en Q4_K_M da unos 4,8 GB, coherente con los 4,9 oficiales. Para 14B en Q4_K_M, unos 8,5 GB. Esta última cifra es cálculo nuestro, no tamaño oficial, y excluye el contexto.

Menos bits es menos memoria y algo menos de calidad; Q4_K_M es el equilibrio habitual. Algunas variantes, como las QAT de Gemma 3, se entrenan pensando en la cuantización: según Google, en la ficha de Ollama, mantienen una calidad similar a BF16 con unas tres veces menos memoria que las no cuantizadas.

Un modelo pequeño puede ser muy útil, pero sus capacidades difieren de las de un modelo mayor o de un servicio en la nube.

Windows, macOS, Linux y Apple Silicon

Según los requisitos de sistema de LM Studio, en Windows x64 hace falta una CPU con AVX2 (hay también soporte ARM con Snapdragon X Elite). Recomienda 16 GB de RAM y al menos 4 GB de VRAM dedicada.

En macOS pide Apple Silicon (M1 a M4) y macOS 14 o superior, con 16 GB o más recomendados. Con 8 GB puede usarse con modelos pequeños y contexto modesto, y los Mac Intel no están soportados. En Linux ofrece AppImage para x64 y ARM64, desde Ubuntu 20.04.

Ollama funciona en Windows 10 22H2 o posterior, macOS y Linux. Si dudas entre ambos programas, los comparamos en LM Studio frente a Ollama.

Apple Silicon usa memoria unificada: CPU y GPU comparten la misma memoria física. No hay encimera y bandeja separadas, sino una mesa grande. En un Mac de 16 o 32 GB esa memoria hace de VRAM, aunque el sistema también se queda su parte.

Qué pasa cuando el modelo no cabe

Si no cabe en VRAM, el programa reparte capas entre GPU y CPU: funciona, pero con menos velocidad. Las preguntas frecuentes de Ollama explican que ollama ps indica en PROCESSOR «100% GPU», «100% CPU» o un reparto como «48%/52% CPU/GPU». Si no cabe en memoria de ninguna manera, no se carga.

Hay palancas. Ollama usa 4096 tokens de contexto por defecto y la memoria escala con el contexto y el paralelismo (OLLAMA_NUM_PARALLEL). La caché KV puede cuantizarse con OLLAMA_KV_CACHE_TYPE: f16 por defecto, q8_0 con alrededor de la mitad de memoria y q4_0 con alrededor de un cuarto. LM Studio estima si un modelo cabe antes de descargarlo y deja ajustar el reparto.

Consumo, temperatura y ventilación

Una sesión larga con CPU o GPU al máximo gasta más electricidad y calienta el equipo. No damos vatios ni grados: dependen del equipo y no los hemos medido. Mantén las salidas de aire despejadas y, si el ventilador suena como un dron despegando durante mucho rato, prueba un modelo menor o sesiones más cortas.

Qué comprobar antes de descargar un modelo

Memoria disponible: RAM y VRAM libres, no solo las instaladas.
Si tu GPU está soportada (CUDA, ROCm, Vulkan o Metal).
Tamaño de descarga y espacio libre en disco.
Contexto previsto: más contexto, más memoria.
Tamaños disponibles del modelo: la biblioteca de Ollama los lista y a veces hay variantes más ligeras.

Tabla orientativa: tres situaciones

Es orientativa y sin garantías: depende del modelo, la cuantización, el contexto y el software.

Situación	Memoria habitual	Qué se puede probar (orientativo)	Matices
Doméstico modesto	8–16 GB de RAM, sin GPU dedicada	Modelos pequeños (1B–4B) en Q4, con CPU	Funciona, pero más lento; útil para tareas sencillas
Gama media	16 GB de RAM y 8–12 GB de VRAM, o Mac con 16–24 GB unificados	Modelos de 7B a 14B en Q4	Los pesos en Q4 pueden caber, pero el contexto consume memoria extra
Equipo potente	24 GB+ de VRAM, o Mac con 32 GB+ unificados	Modelos de 14B a 32B y, con reparto GPU/CPU, alguno mayor	Más memoria y ancho de banda suelen dar más velocidad; sin promesas exactas

Ilustración didáctica con tres niveles en escala ascendente: «Ordenador modesto: modelos pequeños», «Gama media: modelos medianos» y «Equipo potente: modelos grandes», más la nota «Orientativo: depende del modelo, la cuantización y el contexto». — Tres niveles orientativos: cuanto más equipo, modelos mayores puedes probar.

Ejemplo práctico: tu equipo en Windows 11, sin instalar nada

Abre Configuración → Sistema → Acerca de: verás la RAM instalada y el procesador.
Abre el Administrador de tareas (Ctrl+Mayús+Esc) → Rendimiento → Memoria y GPU: aparecen la VRAM dedicada y la compartida.
Escribe dxdiag en Inicio → pestaña Pantalla → «Memoria de pantalla (VRAM)».

Con esos datos puedes elegir con criterio. Cuando quieras pasar a la práctica, nuestro tutorial para instalar Ollama en Windows te lleva paso a paso hasta tu primera IA local.