Control de calidad y garantía de versión

Evaluación y Pruebas de IA

Prueba la IA que hay dentro de tu producto, no solo la aplicación que la rodea. Evaluamos la calidad de las respuestas, el fundamento, los permisos y el manejo de fallos en agentes, chatbots y funciones de LLM, y establecemos criterios de lanzamiento claros.

Hablemos de su proyectoHablar sobre evaluación de IA

Quién necesita evaluación de IA

Tu función de IA se ve bien en una demostración, pero todavía nadie puede decir cómo se comporta ante preguntas reales, entradas hostiles y datos faltantes, ni si el siguiente modelo o cambio de prompt la empeora.

  • Equipos a punto de poner un chatbot o asistente frente a los clientes
  • Responsables de producto que cambian de modelo, proveedor o prompts y necesitan una comparación de antes y después
  • Empresas que permiten que un agente lea registros internos o active acciones en otros sistemas

Cómo se evalúa cada comportamiento

Plan ilustrativo para un asistente de cara al cliente; los métodos varían según tu caso de uso y riesgos.

Evaluaciones automatizadasRevisión expertaPruebas de red teamSeñales de producción
Precisión de las respuestasMétodo principalMétodo principalRara vez usado aquíDe apoyo o muestreado
Fundamentación y citasMétodo principalDe apoyo o muestreadoRara vez usado aquíDe apoyo o muestreado
Límites de permisosDe apoyo o muestreadoMétodo principalMétodo principalDe apoyo o muestreado
Inyección de promptsDe apoyo o muestreadoDe apoyo o muestreadoMétodo principalDe apoyo o muestreado
Rechazos y respuestas alternativasMétodo principalDe apoyo o muestreadoDe apoyo o muestreadoMétodo principal
  • Método principal
  • De apoyo o muestreado
  • Rara vez usado aquí

Probar funciones de IA es una tarea diferente

Un chatbot puede pasar todas las pruebas funcionales y aun así dar una respuesta incorrecta con total seguridad, revelar datos que no debería, o seguir instrucciones ocultas en un archivo subido. Las funciones de IA necesitan su propia evaluación: conjuntos de datos con casos reales y difíciles, comprobaciones de la calidad y el fundamento de las respuestas, permisos de herramientas y datos, exposición a la inyección de prompts, manejo de fallos y comprobaciones de regresión cada vez que cambia un modelo o un prompt. Eso es distinto de probar una aplicación común que la IA ayudó a construir, lo cual cubre Pruebas y QA de Software.

La IA ayuda a calificar a escala; los expertos fijan el listón

Cómo ayuda la IA

  • Genera variaciones de las preguntas reales de los usuarios que tú apruebas, incluyendo paráfrasis, casos límite y entradas adversarias.
  • Califica grandes lotes de respuestas con puntuación basada en modelos, calibrada frente a respuestas etiquetadas por expertos.
  • Agrupa los fallos por causa, como falta de contexto, una llamada incorrecta a una herramienta o una instrucción ignorada.
  • Compara ejecuciones a través de cambios de modelo, prompt o recuperación y señala dónde el comportamiento empeoró.

De qué se encargan nuestros expertos

  • Los expertos definen qué es una respuesta correcta, segura y útil, junto con tus especialistas de dominio.
  • Las calificaciones basadas en modelos son verificadas por muestreo por personas, y un calificador que discrepa de los expertos se corrige o se descarta.
  • Las personas deciden qué herramientas y datos puede usar un agente, y dónde un humano debe aprobar o tomar el control.
  • Los criterios de lanzamiento y la decisión de seguir o no adelante quedan en manos de tu equipo y del nuestro, no de una puntuación por sí sola.

Lo que recibes

Una evaluación que puedes volver a ejecutar en cada cambio

  • Conjunto de datos de evaluación

    Casos reales y sintéticos etiquetados con el comportamiento esperado: preguntas comunes, casos límite, solicitudes fuera de alcance y fallos pasados.

  • Calidad y fundamento de las respuestas

    Precisión, relevancia y tono, y si las respuestas están respaldadas por tus fuentes, con las citas comprobadas y las alucinaciones señaladas.

  • Pruebas de permisos de herramientas y datos

    Qué puede leer, cambiar o activar un agente, probado frente al menor privilegio, los puntos de aprobación y las vías para que un humano tome el control.

  • Exposición a la inyección de prompts

    Inyección directa e indirecta a través de mensajes, archivos subidos, páginas web y documentos recuperados, valorada según lo que un atacante podría alcanzar.

  • Manejo de fallos y alternativas

    Comportamiento cuando el modelo agota el tiempo de espera, un proveedor está caído, la recuperación no encuentra nada o la confianza es baja: alternativas, mensajes claros, traspaso a personas.

  • Comprobaciones de regresión y criterios de lanzamiento

    Evaluaciones automatizadas que se vuelven a ejecutar cuando cambian los modelos, los prompts o los datos, con criterios acordados que deciden si un cambio se lanza.

Cómo transcurre una evaluación de IA

  1. 01

    Definir el buen comportamiento

    Acuerda los casos de uso, los riesgos, los criterios de calidad y los permisos con tu equipo y expertos de dominio, y recopila ejemplos reales que nos permitas usar.

  2. 02

    Construir el conjunto de datos

    Reúne y etiqueta los casos de evaluación, incluidos los difíciles y adversarios, y establece los criterios de lanzamiento que cada cambio debe cumplir.

  3. 03

    Evaluar y sondear

    Ejecuta evaluaciones automatizadas con revisión de expertos, permisos de red team e inyección de prompts, y rastrea los fallos hasta los prompts, la recuperación, las herramientas o el modelo.

  4. 04

    Controlar y monitorizar

    Añade las evaluaciones a tu proceso de lanzamiento, informa de los resultados con las soluciones recomendadas y mantén el conjunto de datos actualizado a medida que el producto cambia.

Dos formas de trabajar con herramientas de IA

La IA ayuda a redactar pruebas e investigar defectos. Elija dónde puede procesar su código y sus datos de prueba.

¿No está seguro? Le recomendaremos uno durante la definición del alcance. Compara las opciones de entrega con IA

Solicitudes de evaluación típicas

Escenarios típicos que delimitamos, no casos de estudio de clientes.

  • Asistente del centro de ayuda antes del lanzamiento público

    Un equipo quiere un asistente que responda a partir de sus artículos de ayuda. Convertimos preguntas reales de soporte en un conjunto etiquetado, calificamos las respuestas y las citas, añadimos casos fuera de alcance y adversarios, y acordamos los criterios de lanzamiento antes de salir al mercado.

  • Migrar una función a un modelo de menor costo

    Un responsable de producto quiere cambiar una función a un modelo o proveedor más económico. Ejecutamos el mismo conjunto de evaluación en ambos, mostramos dónde mejoran o empeoran las respuestas y cómo cambia la latencia, y dejamos la decisión en sus manos.

  • Un agente que puede cambiar registros

    Una empresa permite que un agente interno actualice pedidos. Sometemos a red team sus permisos de herramientas y puntos de aprobación, insertamos instrucciones en los documentos que lee para probar la inyección indirecta, y recomendamos dónde una persona debe aprobar antes de que actúe.

Dónde se detiene la evaluación de IA

  • Cambiar prompts, la recuperación o el modelo en sí no forma parte de la evaluación; nosotros recomendamos correcciones, y tu equipo las realiza o nosotros las definimos en el marco de Integración de LLM.
  • Los ataques a los servidores, las API y la cuenta en la nube que respaldan la función corresponden a las Pruebas de Penetración; aquí sondeamos las instrucciones, las herramientas y el acceso a datos del modelo.
  • La latencia, los límites de tasa y los costos del modelo en el tráfico pico se miden en las Pruebas de Rendimiento.
  • No se incluye la aprobación legal o regulatoria de tu uso de IA; los resultados son evidencia para tu propia revisión de riesgo y cumplimiento.

Cómo se conecta la evaluación de IA con el diseño, el QA y las operaciones

  • Diseño: supervisión que las personas pueden usar

    Los diseñadores dan forma a cómo los usuarios ven las fuentes, la incertidumbre y los errores, y a cómo tu personal revisa, corrige o toma el control de un agente.

  • QA: también el resto del producto

    El QA de Software cubre la aplicación que rodea a la IA, como el inicio de sesión, los pagos, los roles y las integraciones, probados frente a los requisitos como en cualquier lanzamiento.

  • Operaciones: calidad en producción

    Los registros de producción, el feedback de los usuarios, la latencia y el coste alimentan la monitorización y nuevos casos de evaluación, con alertas cuando la calidad empieza a desviarse.

  • Continuo: reevaluar cada cambio

    Las actualizaciones de modelos, las ediciones de prompts y las nuevas fuentes de datos se evalúan antes del lanzamiento, como parte de las operaciones de IA acordadas contigo.

Preguntas frecuentes

Preguntas frecuentes

¿En qué se diferencia esto de probar una aplicación que la IA ayudó a construir?

Una aplicación escrita con herramientas de codificación de IA sigue comportándose como software común, así que Pruebas y QA de Software la cubren. La Evaluación de IA es para productos donde un modelo genera respuestas o realiza acciones en tiempo de ejecución. Las salidas varían, así que medimos la calidad en muchos casos, probamos los permisos y planificamos para los fallos. Muchos productos necesitan ambas, y las definimos juntas.

¿Qué modelos y stacks de IA pueden evaluar?

Funciones construidas sobre modelos alojados como OpenAI o Claude, modelos de pesos abiertos como Llama o Mistral, pipelines de recuperación y frameworks de agentes. El método no depende del proveedor, así que también puedes usarlo para comparar modelos o proveedores en tus propios casos.

¿Puede la evaluación evitar que la IA se equivoque alguna vez?

No. Los modelos aún pueden cometer errores. La evaluación muestra dónde y cómo fallan, para que puedas fijar criterios de lanzamiento, añadir salvaguardas y alternativas, diseñar la revisión humana donde los errores son costosos y notar rápidamente cuándo cambia la calidad.

¿Dónde se procesan nuestros prompts, registros y datos de evaluación?

Las llamadas al modelo de tu propia función van al proveedor que ya usas. Las herramientas de IA que usamos en el trabajo, como la calificación basada en modelos, se ejecutan dentro del límite que elijas: Ingeniería de IA Privada / Local en infraestructura que controlas, o Ingeniería con Claude Code / OpenAI Codex bajo términos acordados de tratamiento de datos. Los datos personales de los registros se enmascaran antes de usarse, según lo acordado contigo.

Lecturas relacionadas

  • Inteligencia artificial

    Reducir las respuestas sin respaldo en aplicaciones RAG

    Cómo la calidad de recuperación, los permisos de documentos, la evidencia y la evaluación pueden reducir las respuestas sin respaldo, y dónde un asistente de conocimiento todavía necesita límites.

Observa cómo se comporta tu IA antes de lanzarla

Cuéntanos qué hace tu función de IA, qué modelo usa y qué te preocupa. Te sugeriremos un plan de evaluación y criterios de lanzamiento.

Hablemos de su proyectoPlanificar una evaluación de IA