¿Quién decide qué dice la IA? Reflexiones de Campbell Brown, exjefa de noticias de Meta

Campbell Brown ha dedicado su carrera a la búsqueda de información precisa, primero como periodista de televisión y luego como la primera y única jefa de noticias de Facebook. Ahora, al observar cómo la IA está transformando la forma en que las personas consumen información, percibe que la historia amenaza con repetirse. Esta vez, no espera que otros lo solucionen.

Su empresa, Forum AI —de la cual habló recientemente con Tim Fernholz de TechCrunch en un evento de StrictlyVC en San Francisco— evalúa cómo los modelos de IA funcionan en lo que ella denomina "temas de alto riesgo" —geopolítica, salud mental, finanzas, contratación— asuntos donde "no hay respuestas claras de sí o no, donde es turbio, matizado y complejo".

La idea es encontrar a los principales expertos del mundo, hacer que ellos diseñen los criterios de evaluación y luego entrenar jueces de IA para evaluar modelos a gran escala. Para el trabajo de geopolítica de Forum AI, Brown ha reclutado a Niall Ferguson, Fareed Zakaria, el exsecretario de Estado Tony Blinken, el ex presidente de la Cámara de Representantes Kevin McCarthy y Anne Neuberger, quien lideró la ciberseguridad en la administración de Obama. El objetivo es lograr que los jueces de IA alcancen aproximadamente un 90% de consenso con esos expertos humanos, un umbral que ella afirma que Forum AI ha logrado.

Brown atribuye el origen de Forum AI, fundado hace 17 meses en Nueva York, a un momento específico. "Estaba en Meta cuando ChatGPT fue lanzado públicamente por primera vez", recordó, "y recuerdo que poco después me di cuenta de que este va a ser el embudo a través del cual fluye toda la información. Y no es muy bueno". Las implicaciones para sus propios hijos hicieron que ese momento se sintiera casi existencial. "Mis hijos van a ser realmente tontos si no logramos resolver esto", pensó.

Lo que más la frustró fue que la precisión no parecía ser la prioridad de nadie. Las empresas de modelos de IA, dijo, están "extremadamente centradas en la codificación y las matemáticas", mientras que las noticias y la información son más difíciles. Pero más difícil, argumentó, no significa opcional.

De hecho, cuando Forum AI comenzó a evaluar los modelos líderes, los hallazgos no fueron exactamente alentadores. Citó a Gemini tomando información de sitios web del Partido Comunista Chino "para historias que no tienen nada que ver con China" y notó un sesgo político de izquierda en casi todos los modelos. También abundan los fracasos más sutiles, dijo, incluyendo la falta de contexto, perspectivas ausentes y argumentos manipulados sin reconocimiento. "Aún queda un largo camino por recorrer", dijo. "Pero también creo que hay algunas soluciones muy simples que mejorarían enormemente los resultados".

Brown pasó años en Facebook observando lo que sucede cuando una plataforma se optimiza para lo incorrecto. "Fracasamos en muchas de las cosas que intentamos", le dijo a Fernholz. El programa de verificación de hechos que ella construyó ya no existe. La lección, incluso si las redes sociales han hecho la vista gorda, es que optimizar para el compromiso ha sido perjudicial para la sociedad y ha dejado a muchos menos informados.

Su esperanza es que la IA pueda romper ese ciclo. "En este momento podría ir en cualquier dirección", dijo; las empresas podrían ofrecer a los usuarios lo que desean, o podrían "darle a la gente lo que es real, honesto y veraz". Reconoció que la versión idealista de eso —IA optimizando para la verdad— podría sonar ingenua. Pero piensa que las empresas pueden ser el aliado inesperado aquí. Los negocios que utilizan IA para decisiones de crédito, préstamos, seguros y contrataciones se preocupan por la responsabilidad, y "van a querer que optimices para hacerlo bien".

Esta demanda empresarial es también lo que Forum AI está apostando en su negocio, aunque convertir el interés por el cumplimiento en ingresos consistentes sigue siendo un desafío, particularmente dado que gran parte del mercado actual todavía está satisfecha con auditorías de verificación y estándares estandarizados que Brown considera inadecuados.

El panorama de cumplimiento, dijo, es "una broma". Cuando la ciudad de Nueva York aprobó la primera ley de sesgo en contrataciones que requería auditorías de IA, el contralor estatal encontró que más de la mitad tenía violaciones que no se detectaron. La evaluación real, dijo, requiere experiencia en el dominio para trabajar no solo a través de escenarios conocidos, sino también casos límite que "pueden meterte en problemas que la gente no piensa". Y ese trabajo lleva tiempo. "Los generales inteligentes no van a ser suficientes".

Brown —cuya empresa recaudó el otoño pasado $3 millones liderados por Lerer Hippeau— está en una posición única para describir la desconexión entre la autoimagen de la industria de la IA y la realidad para la mayoría de los usuarios. "Escuchas a los líderes de las grandes empresas tecnológicas decir: 'Esta tecnología va a cambiar el mundo', 'te va a dejar sin trabajo', 'va a curar el cáncer'", dijo. "Pero luego, para una persona normal que solo usa un chatbot para hacer preguntas básicas, todavía está obteniendo mucha información errónea y mala".

La confianza en la IA se encuentra en niveles extraordinariamente bajos, y ella piensa que ese escepticismo está, en muchos casos, justificado. "La conversación está sucediendo en Silicon Valley sobre una cosa, y una conversación totalmente diferente está sucediendo entre los consumidores".

Temas