IA local y personalización Inteligencia artificial

Cómo hablar con tus PDF utilizando una IA local

Qué significa «hablar con un PDF»

Tienes el manual de la caldera, un contrato de alquiler o los apuntes de todo un curso, y una duda concreta: «¿cuánto dura la garantía?». Hablar con un PDF es escribir esa pregunta en lenguaje normal y que una IA responda apoyándose en tu documento, en vez de buscar tú palabra por palabra.

En la práctica sirve para cuatro cosas: preguntar, encontrar información aunque no recuerdes los términos exactos, resumir un apartado y localizar el pasaje del que sale cada dato. Es la cuarta entrega de la serie. Si quieres la base, empieza por los fundamentos de la IA local. Aquí solo hablamos de conversar con documentos.

De la nube a tu ordenador

Con un servicio en la nube subes el PDF a los servidores de otra empresa: el documento sale de tu equipo y se rige por sus condiciones. Con un enfoque local, el modelo y el almacenamiento están en tu ordenador y el PDF no tiene por qué viajar a ningún sitio.

Un matiz importante: «local» describe dónde se ejecuta el modelo y dónde se guardan los datos. No es un sello de garantía. Una aplicación instalada en tu equipo puede estar configurada para usar un proveedor en la nube o para recopilar telemetría, así que más adelante hay una lista de comprobaciones. Primero comprender, después experimentar y, al final, decidir con criterio.

Herramientas adecuadas

AnythingLLM es la protagonista de hoy. Es una aplicación de escritorio de software libre (licencia MIT) para Windows, Mac y Linux. Reúne en un paquete un modelo local, la búsqueda en documentos y agentes. Existe además una versión Docker multiusuario y una app móvil que se empareja con la de escritorio. Su web oficial es el sitio para descargarla.

Las alternativas verificadas son más piezas que sustitutos. Ollama es un motor de modelos (aquí tienes su tutorial en Windows). LM Studio es otra opción, y la comparativa con Ollama te ayuda a elegir. LocalAI y Lemonade también pueden conectarse a AnythingLLM. Aquí solo citamos las verificadas.

Tutorial en Windows, paso a paso

Un aviso de honestidad: este procedimiento sale de la documentación oficial para Windows. No se ha probado la instalación en un Windows real, así que los nombres de menús y botones pueden variar.

Descarga el instalador desde la web oficial, nunca desde enlaces de terceros.
Instálalo para el usuario actual, la opción que describe la guía de Windows.
Abre la aplicación. El primer arranque te guía para elegir un modelo.
Elige el motor integrado (descargará el modelo que escojas) o conecta Ollama si ya lo usas. La siguiente sección lo detalla.
Crea un espacio de trabajo: un cuaderno con su propia conversación y sus propios documentos. Un espacio por tema evita mezclas.
Sube el PDF desde el gestor de documentos. Quedará en «My Documents».
Muévelo al espacio de trabajo y confirma para que se procese.
Haz una primera pregunta cuya respuesta ya conozcas. Así compruebas que todo funciona antes de fiarte.

Cómo elegir o conectar un modelo local

Hay dos caminos.

El motor integrado descarga y ejecuta modelos GGUF desde Hugging Face (con ModelScope como opción). Lo eliges al arrancar y lo cambias después en Settings. Desde la versión 1.18.0, las instalaciones nuevas usan un motor llamado Lemond, una versión embebida de Lemonade que ejecuta los modelos con llama.cpp. Las instalaciones antiguas traían un motor basado en Ollama: la app muestra un aviso «Engine upgrade» y, al migrar, hay que volver a descargar los modelos. Tus espacios, chats y documentos no se tocan. Los detalles están en los cambios de la v1.18.0.

El segundo camino es el proveedor Ollama. Ollama es una aplicación separada. En AnythingLLM eliges ese proveedor y lo conectas a http://127.0.0.1:11434, la dirección por defecto, según la documentación del proveedor.

No todas las configuraciones funcionan igual: el mismo modelo puede comportarse distinto según el motor que lo ejecute. Si algo falla, cambia una sola cosa cada vez.

Importar el PDF: adjuntar o embeber

AnythingLLM ofrece dos formas de darle un documento al modelo:

Adjuntar (Attach) mete el texto completo en la ventana de contexto. Es más lento, pero muy preciso, y queda limitado a ese hilo de conversación. Si el documento no cabe, la app ofrece trocearlo.
Embeber (Embed) trocea el documento y lo indexa, que es la base del RAG. Queda disponible para todos los hilos del espacio.

Y la regla que más despistes evita: solo se busca lo que está en el espacio. Tener el PDF en «My Documents» sin moverlo es como llevar el libro en la mochila: lo tienes, pero no está en la estantería de consulta.

Existe también «fijar» (pinning), para documentos cortos o críticos.

Qué es RAG

RAG significa generación aumentada por recuperación. La documentación sobre chatear con documentos lo describe como dividir los documentos en piezas más pequeñas y recuperar solo una pequeña cantidad de contexto semánticamente relevante para el modelo.

Imagina el manual de una lavadora y la pregunta «¿qué hago si huele a quemado?»:

La app ha troceado el manual en fragmentos.
Un modelo de embeddings ha convertido cada fragmento en una huella numérica de su significado.
Tu pregunta recibe la misma huella y la app busca los fragmentos más parecidos.
Esos fragmentos viajan al modelo junto con tu pregunta, como contexto.
El modelo redacta la respuesta.

El modelo no lee el PDF entero: lee lo que la búsqueda le entrega. Si la búsqueda falla, la respuesta también.

Esquema didáctico del recorrido de una pregunta: «Tu PDF» → «Trocear e indexar» → «Buscar fragmentos relevantes» → «Modelo local» → «Respuesta con referencias». — El recorrido de una pregunta: del PDF a una respuesta con referencias.

Pedir citas y verificar

Pide siempre pruebas. La app muestra las citas de los fragmentos que ha usado, y puedes reforzarlo con una instrucción: «Responde solo con lo que diga el documento, cita el pasaje textual y, si no lo encuentras, dilo».

Después, verifica. Abre el PDF, busca con Ctrl+F una frase del pasaje citado y lee lo que hay antes y después. No des por hecho que la cita incluya el número de página: búscalo tú. Si la cita no aparece, o dice otra cosa, descarta la respuesta. Verificar lleva medio minuto. No hacerlo puede costarte una reclamación de garantía.

Escaneados, imágenes, tablas y PDF extensos

Un PDF escaneado es, por dentro, una foto de cada página: no contiene texto seleccionable. Según la release v1.7.4 del repositorio oficial, AnythingLLM aplica OCR automático a imágenes y PDF no digitalizados con Tesseract, un modelo que se ejecuta en local.

Sus límites son claros. Es OCR, no visión: lee letras, no interpreta fotos, gráficos ni esquemas. Sin texto no hay nada que encontrar, y la app puede responder «No text content found in el archivo». Un escaneo borroso producirá texto con errores.

Las tablas pueden perder su estructura al extraer el texto. Filas y columnas se mezclan, y una cifra puede acabar bajo el encabezado equivocado. Comprueba los números en el original.

En los PDF extensos, embebe en lugar de adjuntar y ajusta «Max Context Snippets» y el umbral de similitud. El troceado se configura en Settings > AI Providers > Text Splitter & Chunking.

Requisitos y problemas frecuentes

La memoria necesaria depende del modelo. Para calcularla, consulta qué ordenador necesitas para ejecutar IA local. Los modelos ocupan varios GB de disco, y la primera carga suele ser lenta porque hay que descargar el modelo y cargarlo en memoria. Que tarde no significa que se haya colgado.

Problemas habituales:

El modelo ignora el documento. Comprueba que está en el espacio, no solo en «My Documents», y que el embedder funciona.
Respuestas pobres. En los ajustes del espacio (engranaje, «Vector Database Settings») revisa el umbral de similitud, que por defecto es del 20 %. La documentación sugiere probar «No Restriction» si las respuestas son malas. Revisa también «Max Context Snippets», para el que se recomienda 4–6 con la mayoría de modelos.
Más precisión. Con LanceDB, la base vectorial por defecto, «Accuracy Optimized» añade reranking; la documentación estima +100–500 ms.

Una respuesta puede ser incorrecta aunque consulte el documento

Que la IA tenga el documento delante no la vuelve infalible, igual que tener el manual abierto no te libra de montar la estantería al revés. La búsqueda puede traer fragmentos equivocados o incompletos. El modelo puede malinterpretarlos, mezclarlos o rellenar huecos con lo que «sabe». Con contratos, salud o dinero, úsala para orientarte y localizar pasajes, y decide con el texto original o con un profesional.

Local, remoto y otros servicios

Antes de fiarte de la palabra «local», comprueba:

Proveedor de LLM. Motor integrado u Ollama en tu equipo, no un servicio en la nube.
Proveedor de embeddings. Por defecto es un modelo local incorporado (all-MiniLM-L6-v2). La documentación de embeddings lista también opciones locales y proveedores en la nube como OpenAI, Cohere o Gemini. Si eliges uno de estos, los fragmentos de tu texto salen de tu equipo.
Telemetría. El proyecto recoge telemetría anónima, desactivable en los ajustes. Según su política, los mensajes, historiales y documentos no se transmiten por defecto. Es lo que declara el proyecto.
Scraping web. Importar páginas desde una URL accede a Internet. Evítalo si buscas un entorno cerrado.
Red. El backend de escritorio escucha en 127.0.0.1 por defecto. Si activas «Enable network discovery», pasa a 0.0.0.0 y expone la API. La documentación advierte de que no debe exponerse a Internet, porque no hay cuentas ni autenticación.

Ni siquiera con todo bien configurado hay privacidad absoluta: también cuenta quién usa tu ordenador y dónde van tus copias de seguridad. Y al borrar, quitar un documento del espacio lo conserva en «My Documents»; para eliminarlo del sistema, bórralo allí. Más información en privacidad y datos.

Ejemplo didáctico: un manual de 40 páginas

Importante: no son resultados reales de pruebas: no se ejecutó el procedimiento. Describimos el tipo de respuesta que cabría esperar de un manual ya embebido.

Pregunta 1: «¿Cómo se cambia el filtro?» Se espera una respuesta en pasos ordenados, fiel al manual y con la cita del fragmento. Comprueba en el PDF el orden de los pasos y las advertencias de seguridad.

Pregunta 2: «¿Qué garantía tiene?» Se espera un plazo y sus condiciones, quizá con excepciones. Si el dato no figura en el manual (la garantía suele ir en otro documento), una buena respuesta lo admite en lugar de inventarlo. Comprueba la duración exacta y las condiciones.

Pregunta 3: «Resume el mantenimiento anual.» Se espera una lista de tareas agrupadas. Las preguntas de síntesis dependen de varios fragmentos, así que existe el riesgo de que falte alguna tarea. Compara el resumen con el índice o el capítulo correspondiente.

Ilustración didáctica (no una captura de app) de una consulta documental y su verificación: una pregunta, una respuesta con referencias y una lupa que comprueba un pasaje en la página del documento. Textos: «Pregunta», «Respuesta», «Referencias», «Verificar en el PDF». — Ejemplo de consulta a un documento y verificación del pasaje citado.

Preguntas frecuentes

¿Necesito Internet? Para descargar la app y los modelos, sí. Con motor y embeddings integrados, la conversación no debería requerir un servicio externo; compruébalo en tu configuración.

¿Solo funciona con PDF? No. También admite DOCX, TXT, CSV, Markdown y HTML, y puede importar desde URL, repositorios de GitHub o transcripciones de YouTube.

¿Qué licencia tiene? AnythingLLM es software libre (MIT). Cada modelo que descargues tiene su propia licencia, así que revísala.

¿Mi PDF es un escaneo? Se aplica OCR local, con las limitaciones ya comentadas.

¿Adjuntar o embeber? Para un documento corto y una precisión máxima, adjuntar. Para uno largo o para varios documentos, embeber.

¿Puedo fiarme de un resumen? Te orienta, pero no sustituye la lectura. Verifica los datos que importen.

Cierre: de los PDF a las bases de conocimiento

Esto es solo el principio. Un espacio con varios documentos ya es una pequeña base de conocimiento. Si le sumas instrucciones propias, como vimos al personalizar una IA con tus instrucciones, preferencias y documentos, se convierte en un asistente especializado: el de tu coche, el de tus apuntes, el de los papeles de la casa.

Empieza con un PDF sin importancia, verifica cada cita y decide después con criterio qué documentos merecen vivir en tu IA local.