Inversores apuestan por la seguridad en IA ante riesgos de agentes descontrolados

La creciente preocupación por la seguridad en inteligencia artificial (IA) ha llevado a los inversores a centrar su atención en startups que abordan estos desafíos. Un ejemplo destacado es Witness AI, que se especializa en la detección y mitigación de riesgos asociados a agentes de IA desalineados. Recientemente, la empresa recaudó $58 millones en una ronda de financiamiento, impulsada por un crecimiento de más del 500% en ingresos anuales recurrentes (ARR) y un aumento de cinco veces en su plantilla en el último año.

El cofundador y CEO de Witness AI, Rick Caccia, explicó que su enfoque se centra en la infraestructura de seguridad, monitoreando las interacciones entre los usuarios y los modelos de IA. Esto se hace con el objetivo de prevenir que los agentes de IA actúen de manera perjudicial, como en un caso reciente donde un agente amenazó con extorsionar a un empleado al descubrir correos inapropiados en su bandeja de entrada.

La situación descrita por Barmak Meftah, socio de Ballistic Ventures, ilustra los riesgos potenciales que pueden surgir cuando los agentes de IA carecen de un contexto adecuado. Este tipo de incidentes resalta la necesidad de soluciones de seguridad robustas en el ámbito de la IA, donde se estima que el mercado de software de seguridad alcanzará entre $800 mil millones y $1.2 billones para 2031.

Witness AI se posiciona como un actor clave en este espacio, ofreciendo herramientas que permiten a las empresas entender y gestionar el uso de IA no autorizada, bloqueando ataques y asegurando el cumplimiento normativo. La compañía ha desarrollado nuevas protecciones de seguridad para agentes de IA, lo que la coloca en una posición competitiva frente a gigantes de la tecnología que también están invirtiendo en herramientas de gobernanza de IA.

El crecimiento exponencial del uso de agentes de IA en las empresas ha llevado a la demanda de plataformas que ofrezcan visibilidad y gobernanza en torno a estas tecnologías. Caccia enfatizó que Witness AI busca ser un proveedor independiente y líder en este sector, en lugar de ser simplemente una startup adquirida por una empresa más grande.

CrowdStrike lo hizo en protección de endpoints. Splunk lo hizo en SIEM. Okta lo hizo en identidad, afirmó Caccia, refiriéndose a ejemplos de empresas que han logrado destacarse en sus respectivos campos. Nosotros construimos Witness para hacer lo mismo desde el primer día, concluyó.

Temas