Márgenes brutos y costos de inferencia en empresas de inteligencia artificial

El margen bruto son los ingresos menos el costo de los ingresos, dividido por los ingresos. En el SaaS clásico, el coste de los ingresos proviene principalmente del alojamiento, la atención al cliente y el software de terceros. Servir a un usuario más no cuesta casi nada, por lo que las empresas SaaS maduras suelen reportar márgenes brutos del 70 al 80 por ciento o más. Los productos de IA añaden un coste que se comporta más como una materia prima. Cada mensaje utiliza tiempo de GPU. La empresa lo paga por token a un proveedor de API como OpenAI, Anthropic o Google, o mediante GPU que posee o alquila. Un usuario intensivo puede costar muchas veces más que un usuario ligero con la misma suscripción. Un ensayo ampliamente leído de Andreessen Horowitz de 2020, "El nuevo negocio de la IA", argumentaba que muchas empresas de IA parecían una combinación de software y servicios, con márgenes brutos reducidos por la computación en la nube y los humanos involucrados. El trabajo humano todavía cuenta: etiquetar datos, revisar resultados y manejar escalamientos a menudo forman parte del costo de los ingresos junto con la moderación, la infraestructura de recuperación, como bases de datos vectoriales, y las ejecuciones de evaluación. Las empresas protegen los márgenes con un conjunto familiar de palancas: - **Enrutamiento de modelos** envía solicitudes fáciles a modelos pequeños y baratos y reserva modelos grandes para los difíciles. - **Almacenamiento en caché** reutiliza el trabajo. Los proveedores pueden almacenar en caché prefijos de mensajes repetidos y un producto puede almacenar respuestas a consultas idénticas. - **Los modelos más pequeños o simplificados**, a veces ajustados para una tarea, pueden reemplazar un modelo general para trabajos de gran volumen. - Las **solicitudes más eficientes** también ayudan: indicaciones más estrictas, límites en la longitud de salida y procesamiento por lotes para trabajos que pueden esperar. - **Precios** es la última palanca. Los niveles, créditos o límites basados ​​en el uso vinculan los ingresos con los costos. Un error común es pensar que la caída de los precios de los tokens fijará los márgenes por sí sola. Los precios para un determinado nivel de capacidad han caído drásticamente. Pero los productos a menudo agotan los ahorros al pasar a modelos más nuevos, contextos más largos y agentes que realizan muchas llamadas por tarea. El margen proviene de decisiones de ingeniería y precios, no de alguna propiedad fija de la IA.