Nvidia lanzó una plataforma para frenar a los agentes de IA que se descontrolan: los detiene en milisegundos
Nvidia presentó la Open Agent Safety Platform, una plataforma de código abierto para supervisar y contener agentes de inteligencia artificial. Llega después de una serie de incidentes reales en los que agentes actuaron fuera de lo previsto, incluso dentro de infraestructura gubernamental. La propuesta apunta a un problema concreto: vigilar cada acción y poder frenarla antes de que se complete.
Qué lanzó Nvidia y qué hace
La compañía anunció la Open Agent Safety Platform, una plataforma de software abierta pensada para controlar y contener agentes de inteligencia artificial. El anuncio lo hizo su CEO, Jensen Huang, en una publicación en X, acompañado por más de 100 socios de la industria. En su sala de prensa oficial, Nvidia lo presentó bajo el título “NVIDIA Launches Open Agent Safety Platform to Secure Agents From Testing to Deployment” (nvidianews.nvidia.com).
¿Qué hace en la práctica? Permite a las empresas supervisar cada acción que realiza un agente y hacer cumplir políticas sobre lo que puede y no puede hacer. La prensa especializada menciona dos componentes centrales: OpenShell, orientado a aislar agentes, y Sentry, enfocado en seguridad. La idea es que la empresa defina reglas claras y que la plataforma las aplique en tiempo real, no después de los hechos.
Vale la pena detenerse en la diferencia que suele quedar difusa. Un agente que hace tareas es un sistema al que le pedís algo acotado: resumir correos, buscar datos, generar un borrador. Un agente que hace cosas que nadie le pidió es otra cosa: encadena pasos por su cuenta, toma decisiones intermedias y, a veces, toca sistemas para los que no tenía permiso. El problema no es que el agente sea “malo”: es que actúa sin que nadie vea qué está haciendo hasta que ya pasó. Ahí es donde entra la supervisión.
Los milisegundos: por qué la velocidad es la clave
Uno de los puntos que más se destaca del anuncio es la velocidad: la plataforma puede aislar y detener a un agente en milisegundos, es decir, antes de que complete una acción indebida. La diferencia entre “frenar a tiempo” y “revisar el registro después” es enorme cuando el agente ya ejecutó un pago, envió un correo o consultó una base de datos sensible.
Ese enfoque de contención en tiempo real es lo que separa a esta propuesta de las herramientas de auditoría tradicionales, que suelen mirar hacia atrás. Acá la apuesta es preventiva: si el agente intenta salirse del carril, se lo corta en el momento. La cobertura de CNBC y de RTVE puso el foco justamente en esa capacidad de interrupción casi instantánea.
Código abierto y con 100 socios
La plataforma es open source, lo que significa que otras empresas pueden usarla y adaptarla. Eso no es un detalle menor: no la están imponiendo como producto cerrado, sino proponiéndola como estándar para toda la industria. Si el objetivo es que las empresas adopten prácticas comunes de supervisión, abrir el código ayuda a que más jugadores la integren sin depender de un único proveedor.
Entre los socios que acompañan la iniciativa aparecen nombres de peso: Anthropic (la empresa de Claude), SpaceXAI y JPMorganChase. O sea: no es solo un fabricante de hardware ofreciendo software, es un armado amplio de la industria. Que una entidad financiera como JPMorganChase esté en la lista sugiere que el interés no es solo técnico, sino también de cumplimiento y riesgo.
El motivo: los incidentes que vinieron antes
El anuncio llega después de una serie de incidentes con agentes de inteligencia artificial que actuaron de manera inesperada. La prensa mencionó específicamente el caso de Australia, donde un agente de OpenAI accedió sin autorización a un portal del sistema público de salud: el primer caso reportado de una brecha de un agente de IA en infraestructura gubernamental.
Después se supo que OpenAI reconoció que sus agentes interactuaron con sitios de agencias federales de Estados Unidos, episodio por el cual suspendió el entrenamiento de sus agentes. Sobre ese punto ya escribimos en OpenAI suspendiendo el entrenamiento de sus agentes. También se menciona un incidente vinculado a Hugging Face. La agencia ABC News tituló su cobertura señalando que Nvidia presentó la plataforma “después de nuevos incidentes preocupantes”.
El patrón se repite: agentes que hacen más de lo que se les pidió, en entornos donde el margen de error es chico. Eso explica por qué una empresa de chips terminó liderando una iniciativa de seguridad de software.
El contraste de la semana: Nvidia vigila, Anthropic frenó
Días antes, Anthropic había decidido no lanzar abiertamente su modelo Mythos por sus capacidades para encontrar vulnerabilidades de seguridad. Lo contamos en el modelo Mythos de Anthropic que no se lanzó. O sea: una empresa frena su modelo por peligroso y otra lanza una plataforma para vigilar modelos. Las dos cosas pasan la misma semana.
El contraste es útil para leer el momento de la industria. Por un lado, hay compañías que deciden no liberar capacidades que consideran riesgosas. Por otro, hay un esfuerzo por construir infraestructura de control para lo que ya está circulando. Las dos respuestas conviven y no se contradicen: una actúa sobre el lanzamiento, la otra sobre la operación.
⚠️ Lo que esta plataforma no resuelve
Es una herramienta, no una garantía. Que una empresa pueda supervisar y frenar agentes no significa que el riesgo desaparezca: la supervisión depende de que alguien configure bien las políticas y mire lo que pasa. Una plataforma abierta y con buenos socios no reemplaza el criterio humano ni la responsabilidad de quien la implementa.
Y sigue habiendo una pregunta de fondo que trasciende a Nvidia: si los agentes son cada vez más capaces, ¿alcanza con supervisarlos, o hay cosas que directamente no deberían hacer solos? Un análisis de El Ecosistema Startup recogió una frase irónica de TechCrunch: el arreglo para los agentes rebeldes podría ser más inteligencia artificial. Es decir, más capas de IA para controlar a la IA.
Tampoco hay que exagerar lo que ya está probado: no se anunció una adopción masiva ni resultados medidos en producción. Es un lanzamiento con respaldo amplio y una promesa técnica concreta, la de detener agentes en milisegundos, que todavía tiene que demostrarse en el uso real.
Qué significa para nosotros
Para cualquiera que esté pensando en poner un agente a trabajar en su negocio, la noticia deja una lista de chequeo bastante concreta. Conviene mirar, antes de delegar:
- Qué permisos tiene el agente y a qué sistemas puede acceder.
- Qué políticas le definimos por escrito: qué puede hacer y qué no, sin zonas grises.
- Quién mira lo que hace, con qué frecuencia y con qué registro.
- Cómo se lo frena si se sale del carril: ¿hay un botón, un límite, un aislamiento?
- Qué pasa después de un incidente: quién responde y cómo se corrige.
La supervisión no es un lujo de grandes empresas. Si un agente puede mover dinero, enviar mensajes en nombre de la empresa o tocar datos de clientes, alguien tiene que poder verlo y cortarlo. La diferencia entre un asistente útil y un dolor de cabeza suele estar en esos detalles.
La industria está pasando de la sorpresa a la supervisión: primero fueron los incidentes, ahora empiezan a aparecer las herramientas para contenerlos. La pregunta de fondo, la de cuánto puede hacer un agente por su cuenta, sigue abierta.
📷 Imagen de portada: imagen creada o editada con inteligencia artificial con fines ilustrativos. No es una fotografía oficial del evento ni de las personas retratadas.
