DevOps e infraestructura en la nube

Infraestructura de IA Privada

Aloje los modelos y agentes de IA de su producto allí donde usted controla los datos. Los desplegamos en su infraestructura o en un entorno aislado acordado, y luego los evaluamos, dimensionamos, aseguramos, supervisamos y actualizamos.

Hablemos de su proyectoHablar sobre hosting de IA privada

Dónde se ejecuta realmente la IA de su producto

Muchas funcionalidades de IA envían prompts, documentos y resultados a la API de un modelo de terceros. Algunos productos necesitan que ese procesamiento ocurra dentro de un perímetro que ellos controlan, por motivos de política de datos, contratos con clientes o la necesidad de fijar versiones de modelo. Alojamos modelos y agentes para su producto en su cuenta de nube, en sus propias instalaciones o en un entorno aislado acordado, y los operamos a lo largo del tiempo. Esto se refiere a su producto terminado. Las herramientas de IA que usamos mientras construimos su software son una decisión aparte.

Infraestructura de IA asistida por IA y dirigida por expertos

Cómo ayuda la IA

  • Puntuación de modelos candidatos frente a su conjunto de evaluación, con comprobaciones automatizadas y evaluadas por modelos que los ingenieros revisan por muestreo.
  • Redacción de la configuración de servicio, autoescalado e infraestructura para su revisión por ingenieros.
  • Análisis de pruebas de carga y datos de uso para sugerir el dimensionamiento de cómputo, incluido si se necesitan GPU en absoluto.
  • Revisión de los registros de modelos y agentes para detectar fallos, llamadas a herramientas inusuales y caídas en la calidad de las respuestas.

De qué se encargan nuestros expertos

  • Elección del modelo, sopesando la calidad de las respuestas, las licencias, el tamaño y el coste de ejecución frente a su caso de uso.
  • Dimensionamiento del cómputo: GPU solo cuando la carga de trabajo medida lo requiere.
  • Límites de red, control de acceso y qué se registra, se retiene o se permite salir del entorno.
  • Aprobación de publicación para los cambios de modelo, prompt y permisos de agente, tras la evaluación de regresión.

Qué permanece dentro de tu límite

Límite ilustrativo para un asistente interno de documentos; las líneas reales se acuerdan contigo antes de desplegar nada.

  • Dentro de tu límite

    • Prompts, documentos subidos y salidas del modelo
    • Pesos del modelo y los servidores que ejecutan la inferencia
    • Índices de búsqueda y embeddings construidos a partir de tus archivos
    • Registros y datos de evaluación, conservados solo según lo permita tu política
    • Llamadas de herramientas de agentes a sistemas internos, cada una con permisos acotados

  • Cruza solo con aprobación

    • Nuevas versiones de modelos, introducidas tras comprobaciones de licencia y evaluación
    • Métricas agregadas de uso y latencia para un panel externo
    • Ejemplos redactados compartidos con un proveedor de software para resolver un problema
    • Llamadas de reserva a una API de modelo externa, si las permites

  • Permanece fuera

    • APIs de modelos de terceros y los proveedores que las ejecutan
    • Analítica alojada o seguimiento de errores que registraría el texto de los prompts
    • Telemetría del proveedor del software de servicio, desactivada donde sea posible

Qué configuramos y operamos

Hosting, evaluación y operaciones para su IA

  • Selección y evaluación de modelos

    Modelos de pesos abiertos como Llama, Mistral o Qwen comparados con sus propios ejemplos en cuanto a calidad de respuestas, velocidad, licencias y coste de ejecución.

  • Servicio y escalado

    Servidores de inferencia como vLLM detrás de una API interna, con encolado de solicitudes, procesamiento por lotes y autoescalado dimensionado a la demanda real.

  • Cómputo del tamaño adecuado

    Capacidad de CPU, GPU o mixta dimensionada a partir de pruebas de carga. Los modelos más pequeños o cuantizados suelen cumplir la tarea; las GPU se añaden solo cuando la carga de trabajo lo requiere.

  • Límites de acceso y de red

    Red privada, endpoints autenticados, acceso basado en roles y conexiones salientes controladas, para que los prompts y las salidas permanezcan dentro del límite acordado.

  • Registro y monitoreo

    Latencia, errores, rendimiento, uso de recursos y señales de calidad de las respuestas monitoreados, con un registro diseñado en torno a lo que puede almacenarse.

  • Actualizaciones de modelos, prompts y agentes

    Actualizaciones publicadas solo tras una evaluación de regresión, además de operaciones de los agentes desplegados: permisos de herramientas, puntos de aprobación, registros de ejecución y relevo humano.

Quién necesita IA alojada de forma privada

La IA de tu producto ya no puede enviar prompts y documentos a una API de modelo externa, y nadie en el equipo ha ejecutado modelos en producción antes.

  • Proveedores de software cuyos compradores empresariales no permiten que sus datos lleguen a APIs de modelos externas
  • Equipos regulados que deben mantener documentos y registros de modelos en su propia infraestructura
  • Equipos que construyen asistentes internos sobre archivos confidenciales, como contratos o registros de RR. HH.

Solicitudes típicas de IA privada

Escenarios típicos que delimitamos, no casos de estudio de clientes.

  • Trasladar una función en funcionamiento fuera de una API de modelo

    Un resumidor de documentos usa una API comercial, y el contrato de un cliente grande ahora lo prohíbe. Probaríamos modelos de pesos abiertos con sus entradas reales, alojaríamos uno que cumpla tu nivel de calidad en tu cuenta de la nube y haríamos el cambio detrás de la misma interfaz interna.

  • Servidores sin conexión a internet

    Un sitio de despliegue no permite internet saliente, por lo que los modelos deben ejecutarse en servidores locales. Empaquetaríamos los modelos, el software de servicio y las dependencias para una instalación sin conexión, y acordaríamos cómo se verifica cada nueva versión antes de introducirla.

  • Depurar sin almacenar prompts

    La política dice que los prompts pueden contener datos personales y no deben almacenarse, pero los fallos aún necesitan investigarse. Registraríamos metadatos y señales de calidad por defecto, y capturaríamos muestras redactadas solo cuando lo apruebes, durante un período limitado.

De los requisitos a los modelos en funcionamiento

  1. 01

    Definir el límite

    Acordamos los casos de uso, qué datos pueden procesarse, dónde se sitúa el límite, la carga esperada y el nivel de calidad que probará tu conjunto de evaluación.

  2. 02

    Evaluar y dimensionar

    Los modelos candidatos se prueban con tus ejemplos y luego se dimensiona el cómputo a partir de pruebas de carga. Recomendamos GPU solo si los resultados muestran que son necesarias.

  3. 03

    Desplegar y endurecer

    El servicio, el control de acceso, las reglas de red, el registro y el monitoreo se despliegan como código, y luego se prueban con carga y fallos antes del tráfico real.

  4. 04

    Operar y mejorar

    Monitoreo, revisiones de capacidad y acceso, y actualizaciones de modelos o prompts publicadas solo después de que pase la evaluación de regresión.

Dos formas de trabajar con herramientas de IA

La IA asiste con el código de infraestructura y los diagnósticos. Elija dónde puede procesar su configuración y sus registros.

¿No está seguro? Le recomendaremos uno durante la definición del alcance. Compara las opciones de entrega con IA

Qué excluye el alojamiento de IA privada

  • Diseñar y construir la propia función de IA o el agente es Integración de LLM o Agentes de Automatización; este servicio aloja, protege y opera los modelos que hay detrás.
  • Entrenar un modelo personalizado es Modelos de Machine Learning, y el ajuste fino de un modelo de lenguaje se enmarca en Integración de LLM; nosotros alojamos y operamos el resultado.
  • Ejecutar el resto de tu aplicación, como servidores web, bases de datos y versiones comunes, es DevOps y Operaciones Gestionadas; este servicio cubre los modelos y agentes.
  • Revisamos las licencias de los modelos frente a tu uso previsto, pero la aprobación legal de licencias y acuerdos de datos queda a cargo de tus propios asesores.

Cómo se conectan ingeniería, QA y operaciones

  • Ingeniería de IA en tu producto

    Nuestros ingenieros de IA conectan modelos alojados a tu producto: recuperación, llamadas a herramientas, flujos de trabajo de agentes y las pantallas donde las personas revisan, corrigen o toman el control.

  • Evaluación como QA

    QA mantiene conjuntos de datos de evaluación y comprobaciones de regresión para la calidad de las respuestas, los permisos de herramientas y el manejo de fallos, y los ejecuta antes de cada cambio de modelo o prompt.

  • Diseño para el comportamiento de la IA

    Los diseñadores dan forma a cómo aparece la salida de la IA: estados de carga y de reserva, fuentes, y los controles que las personas usan para corregir o anular un resultado.

  • Operaciones tras el lanzamiento

    Alojar un modelo es distinto de ejecutar una aplicación común. Mantenemos bajo revisión la capacidad, el acceso, las actualizaciones y las evaluaciones, con horas de soporte acordadas en un plan de soporte.

Preguntas frecuentes

Preguntas frecuentes

¿En qué se diferencia esto del paquete de Ingeniería de IA Privada / Local?

La Infraestructura de IA Privada es donde se ejecuta la IA de tu producto terminado: los modelos y agentes con los que trabajan tus usuarios o personal. La Ingeniería de IA Privada / Local es un paquete de desarrollo: mantiene las herramientas de IA que usamos mientras construimos tu software sobre modelos dentro de un límite acordado. El otro paquete, Ingeniería con Claude Code / OpenAI Codex, usa agentes de codificación comerciales. Cualquiera de los dos paquetes puede combinarse con este servicio.

¿Necesitamos GPU para ejecutar modelos privados?

No siempre. Los modelos más pequeños o cuantizados pueden ejecutarse en CPU para tareas como clasificación, extracción o herramientas internas de bajo volumen. Los modelos más grandes, las entradas largas y muchos usuarios simultáneos suelen necesitar GPU. Dimensionamos el cómputo a partir de pruebas de carga sobre tus casos de uso reales y recomendamos la configuración más pequeña que cumpla tus necesidades de calidad y velocidad.

¿Qué modelos pueden alojar?

Modelos de lenguaje de pesos abiertos como Llama, Mistral, Qwen o Gemma, modelos de embedding y reordenamiento para búsqueda, y modelos específicos de tareas que tu equipo haya entrenado. Comparamos candidatos con tus propios ejemplos y revisamos cada licencia para tu uso previsto antes de recomendar uno.

¿El autoalojamiento es más barato que una API de modelo?

A veces. Con volumen bajo o irregular, una API alojada con términos adecuados suele ser más barata y sencilla. El alojamiento privado tiene sentido cuando los datos deben permanecer dentro de tu límite, cuando necesitas control sobre las versiones del modelo, o cuando un volumen constante hace económica una capacidad dedicada. Comparamos ambas opciones con tu uso esperado antes de que te comprometas.

Mantén la IA de tu producto dentro de tu límite

Cuéntanos qué hacen tus funciones de IA y dónde deben permanecer los datos. Te recomendaremos modelos, alojamiento y un plan operativo acorde.

Hablemos de su proyectoPlanifica tu configuración de IA privada