Lista de verificación de evaluación de proveedores de IA

La evaluación de un proveedor de IA combina la adquisición normal de software con preguntas específicas de sistemas probabilísticos, es decir, sistemas cuyos resultados pueden ser erróneos. **Evidencia de precisión.** Pregunte en qué se probó el producto, qué métricas se utilizaron y cómo se desempeña con sus datos. La evidencia más sólida es un piloto en un conjunto de pruebas que usted construye a partir de casos reales, incluidos los difíciles e inusuales, calificados por su propio personal. Pregunte qué modelo de base se encuentra debajo, con qué frecuencia cambia y si se le informará antes de que cambie su comportamiento. **Manejo de datos.** Pregunte si sus entradas y salidas se utilizan para entrenar o mejorar modelos, cuánto tiempo se conservan, dónde se almacenan y procesan y qué subprocesadores las manejan. Obtenga las respuestas escritas en el contrato o acuerdo de procesamiento de datos, no en un correo electrónico de ventas. **Seguridad.** Solicite un informe SOC 2 Tipo II, que cubra cómo operaron los controles durante un período de tiempo. Un informe de Tipo I sólo describe los controles en un único momento. La certificación ISO/IEC 27001 es otra señal común, y la ISO/IEC 42001 es un estándar más nuevo para los sistemas de gestión de IA. Pregunte sobre el inicio de sesión único, el acceso basado en roles, los registros de auditoría y las pruebas de penetración. Si el producto lee contenido externo, pregunte cómo se defiende contra una inyección rápida. **Hoja de ruta y viabilidad.** Pregunte qué tan dependiente es el proveedor de un único proveedor modelo, qué sucede si ese proveedor cambia sus términos y cómo se financia la empresa. **Estabilidad de precios.** Aclare los precios por asiento frente a los de uso, los cargos por exceso y con cuánto aviso se debe avisar antes de un cambio de precio. **Opciones de salida.** Confirme que puede exportar sus datos y configuraciones en formatos utilizables y obtenga una confirmación por escrito de que sus datos han sido eliminados. **Señales de alerta:** - afirmaciones de 100 por ciento de precisión - negativa a realizar una prueba piloto con sus datos - respuestas vagas sobre la capacitación sobre los datos del cliente - incapacidad para nombrar a los subprocesadores - contratos que permiten cambios de precios o términos sin previo aviso