IA local para datos sensibles: qué es, cuándo compensa y qué hardware pide

«No puedo meter los datos de mis pacientes en ChatGPT.» Es la frase más repetida en clínicas, despachos y asesorías cuando hablamos de IA. Y es una restricción razonable: pasar datos de salud, información fiscal o expedientes legales por un servicio externo obliga a revisar contratos, encargados de tratamiento y transferencias.

La alternativa que suele mencionarse es «IA local»: ejecutar el modelo en un equipo propio. Funciona, pero conviene entender qué compra y qué no compra antes de invertir en hardware.

Qué es realmente la IA local

Un modelo de lenguaje abierto (por ejemplo, la familia Qwen) descargado y ejecutándose en un equipo tuyo con Ollama o similar. Si el modelo y la aplicación procesan la inferencia en ese equipo y no la envían a una API externa, el prompt se procesa localmente. La web que lo envuelve aún podría transmitir metadatos u otros datos; hay que verificar telemetría, registros, herramientas, copias e integraciones. Sigues siendo responsable de accesos, copias de seguridad y de que el modelo no vea más datos de los necesarios.

Qué hardware pide, con números

El nombre comercial no basta para calcular RAM: cuentan la generación exacta, el formato y cuantización, el contexto, el runtime y los usuarios simultáneos. Por ejemplo, el modelo oficial Qwen3.8-27Bpublica archivos de pesos que suman 55,6 GB sin cuantizar. Eso describe los archivos de pesos, no la RAM total que necesitará el servicio; una versión cuantizada puede ocupar menos, a cambio de otros compromisos.

• Antes de elegir hardware: registra el ID completo del modelo, formato y cuantización, contexto máximo, carga prevista y si el equipo servirá a más de una persona.
• Calcula memoria de trabajo: pesos cargados + caché KV/contexto + runtime + sistema operativo; añade margen para la concurrencia y la carga real.
• Valida antes de comprar: mide latencia, memoria y estabilidad con prompts y documentos representativos en el equipo objetivo.

Añade almacenamiento para el corpus documental, registros y copias de seguridad. No compres hardware basándote solo en el número de parámetros o en el tamaño del archivo: el margen adecuado depende de la cuantización, el contexto, el runtime y la concurrencia que mida la prueba de carga.

Qué aporta y qué no garantiza

La IA local puede dar más control sobre dónde se procesa la inferencia y reducir la dependencia del consumo de tokens de un proveedor. No elimina los costes de hardware, electricidad, operación y mantenimiento, ni garantiza por sí sola que todo el sistema sea privado, que se cumpla la normativa aplicable ni que las respuestas sean correctas. La calidad depende del modelo concreto y de cómo se configure, pruebe y mantenga; ejecutar un modelo en local no sustituye esa evaluación ni la supervisión humana. Un sistema serio añade permisos por fuente, respuestas citadas y abstención verificable cuando no hay evidencia suficiente.

Cuándo compensa

Compensa cuando hay datos sensibles de terceros (salud, fiscal, legal), consultas internas repetitivas sobre documentación propia, y personas que necesitan respuestas con fuente. No compensa para tareas generales sin datos privados: ahí, un servicio externo es más simple y más barato. La decisión correcta suele ser mixta: local para lo sensible, externo para lo genérico, y reglas claras de qué pasa por dónde.

Si quieres ver qué pediría tu caso concreto, la guía conversacional dimensiona el modelo y la memoria a partir de tu propia descripción del proceso, y explica el razonamiento.