La validez científica: clave para discernir avances tecnológicos de la exageración

Las innovaciones tecnológicas parecen no tener fin. En el ámbito de la computación, algunos afirman que "un año en aprendizaje automático equivale a un siglo en cualquier otro campo". Sin embargo, surge la pregunta: ¿cómo se puede determinar si esos avances son reales o simplemente una exageración?

Los fracasos se multiplican rápidamente cuando hay un aluvión de nuevas tecnologías, especialmente cuando estos desarrollos no han sido adecuadamente probados o comprendidos. Incluso las innovaciones tecnológicas de laboratorios y organizaciones de confianza pueden resultar en fracasos espectaculares. Un ejemplo es IBM Watson, un programa de inteligencia artificial que la empresa presentó como una herramienta revolucionaria para el tratamiento del cáncer en 2011. Sin embargo, en lugar de evaluar la herramienta en función de los resultados de los pacientes, IBM utilizó medidas menos relevantes, posiblemente incluso irrelevantes, como las calificaciones de expertos en lugar de los resultados de los pacientes. Como resultado, IBM Watson no solo falló en ofrecer recomendaciones de tratamiento confiables e innovadoras, sino que también sugirió tratamientos dañinos.

Con el lanzamiento de ChatGPT en noviembre de 2022, el interés en la inteligencia artificial se expandió rápidamente en la industria y la ciencia, junto con crecientes afirmaciones sobre su eficacia. Sin embargo, a medida que la gran mayoría de las empresas ven que sus intentos de incorporar inteligencia artificial generativa fracasan, surgen preguntas sobre si la tecnología cumple con lo prometido por los desarrolladores.

En un mundo de cambios tecnológicos rápidos, surge una pregunta apremiante: ¿cómo pueden las personas determinar si una nueva maravilla tecnológica realmente funciona y es segura de usar?

Tomando prestado el lenguaje de la ciencia, esta pregunta se refiere a la validez, es decir, la solidez, confiabilidad y dependencia de una afirmación. La validez es el veredicto definitivo de si una afirmación científica refleja con precisión la realidad. Se puede pensar en ella como un control de calidad para la ciencia: ayuda a los investigadores a saber si un medicamento realmente cura una enfermedad, si una aplicación de seguimiento de salud mejora realmente la condición física o si un modelo de agujero negro describe genuinamente cómo se comporta en el espacio.

Sin embargo, cómo evaluar la validez de nuevas tecnologías e innovaciones ha sido poco claro, en parte porque la ciencia se ha centrado principalmente en validar afirmaciones sobre el mundo natural.

En nuestro trabajo como investigadores que estudian cómo evaluar la ciencia a través de disciplinas, desarrollamos un marco para evaluar la validez de cualquier diseño, ya sea una nueva tecnología o política. Creemos que establecer estándares claros y consistentes para la validez y aprender a evaluarla puede empoderar a las personas para tomar decisiones informadas sobre la tecnología y determinar si una nueva tecnología realmente cumplirá con su promesa.

La validez es la base del conocimiento

Históricamente, la validez se ocupaba principalmente de garantizar la precisión de las mediciones científicas, como si un termómetro mide correctamente la temperatura o si una prueba psicológica evalúa con precisión la ansiedad. Con el tiempo, se hizo evidente que hay más de un tipo de validez.

Diferentes campos científicos tienen sus propias formas de evaluar la validez. Los ingenieros prueban nuevos diseños contra estándares de seguridad y rendimiento. Los investigadores médicos utilizan experimentos controlados para verificar que los tratamientos sean más efectivos que las opciones existentes.

Los investigadores de diferentes campos utilizan distintos tipos de validez, dependiendo del tipo de afirmación que están haciendo.

La validez interna pregunta si la relación entre dos variables es realmente causal. Un investigador médico, por ejemplo, podría realizar un ensayo controlado aleatorio para asegurarse de que un nuevo medicamento llevó a los pacientes a recuperarse en lugar de algún otro factor, como el efecto placebo.

La validez externa se refiere a la generalización: si esos resultados seguirían siendo válidos fuera del laboratorio o en una población más amplia o diferente. Un ejemplo de baja validez externa es cómo muchos estudios iniciales que funcionan en ratones no siempre se traducen en humanos.

La validez de constructo, por otro lado, se refiere al significado. Los psicólogos y científicos sociales dependen de ella cuando preguntan si una prueba o encuesta realmente captura la idea que se supone que debe medir. ¿Una escala de perseverancia refleja realmente la perseverancia o solo la terquedad?

Finalmente, la validez ecológica pregunta si algo funciona en el mundo real en lugar de solo bajo condiciones ideales de laboratorio. Un modelo de comportamiento o un sistema de inteligencia artificial pueden funcionar brillantemente en simulaciones, pero fallar una vez que el comportamiento humano, datos ruidosos o la complejidad institucional entran en juego.

En todos estos tipos de validez, el objetivo es el mismo: asegurar que las herramientas científicas, desde experimentos de laboratorio hasta algoritmos, se conecten fielmente a la realidad que intentan explicar.

Evaluando las afirmaciones tecnológicas

Desarrollamos un método para ayudar a los investigadores de diferentes disciplinas a probar claramente la confiabilidad y efectividad de sus inventos y teorías. El marco de validez de la ciencia del diseño identifica tres tipos críticos de afirmaciones que los investigadores suelen hacer sobre la utilidad de una tecnología, innovación, teoría, modelo o método.

Primero, una afirmación de criterio sostiene que un descubrimiento entrega resultados beneficiosos, típicamente al superar los estándares actuales. Estas afirmaciones justifican la utilidad de la tecnología al mostrar ventajas claras sobre las alternativas existentes.

Por ejemplo, los desarrolladores de modelos de inteligencia artificial generativa como ChatGPT pueden observar un mayor compromiso con la tecnología cuanto más adulan y están de acuerdo con el usuario. Como resultado, pueden programar la tecnología para que sea más afirmativa, una característica llamada adulación, con el fin de incrementar la retención de usuarios. Los modelos de inteligencia artificial cumplen con la afirmación de criterio de que los usuarios los consideran más halagadores que hablar con personas. Sin embargo, esto poco mejora la eficacia de la tecnología en tareas como ayudar a resolver problemas de salud mental o de relaciones.

En segundo lugar, una afirmación causal aborda cómo componentes o características específicas de una tecnología contribuyen directamente a su éxito o fracaso. En otras palabras, es una afirmación que muestra que los investigadores saben qué hace que una tecnología sea efectiva y exactamente por qué funciona.

Al observar los modelos de inteligencia artificial y la adulación excesiva, los investigadores encontraron que interactuar con modelos más aduladores redujo la disposición de los usuarios a reparar conflictos interpersonales y aumentó su convicción de tener razón. La afirmación causal aquí es que la característica de adulación de la inteligencia artificial reduce el deseo de un usuario de reparar conflictos.

Por último, una afirmación de contexto especifica dónde y bajo qué condiciones se espera que una tecnología funcione de manera efectiva. Estas afirmaciones exploran si los beneficios de una tecnología o sistema se generalizan más allá del laboratorio y pueden alcanzar otras poblaciones y entornos.

En el mismo estudio, los investigadores examinaron cómo la adulación excesiva afectó las acciones de los usuarios en otros conjuntos de datos, incluida la comunidad "¿Soy el idiota?" en Reddit. Encontraron que los modelos de inteligencia artificial eran más afirmativos de las decisiones de los usuarios que las personas, incluso cuando el usuario describía un comportamiento manipulador o dañino. Esto apoya la afirmación de contexto de que el comportamiento adulador de un modelo de inteligencia artificial se aplica en diferentes contextos conversacionales y poblaciones.

Midiendo la validez como consumidor

Comprender la validez de las innovaciones científicas y las tecnologías de consumo es crítico tanto para los científicos como para el público en general. Para los científicos, es un mapa para asegurar que sus inventos sean evaluados rigurosamente. Y para el público, significa saber que las herramientas y sistemas de los que dependen, como aplicaciones de salud, medicamentos y plataformas financieras, son realmente seguros, efectivos y beneficiosos.

A continuación, se presentan algunas formas de utilizar la validez para comprender las innovaciones científicas y tecnológicas que ocurren a su alrededor.

Dado que es difícil comparar cada característica de dos tecnologías entre sí, es recomendable centrarse en cuáles son las características que más valora de una tecnología o modelo. Por ejemplo, ¿prefiere que un chatbot sea preciso o mejor para la privacidad? Examine las afirmaciones en esa área y verifique que sea tan bueno como se afirma.

Considere no solo los tipos de afirmaciones hechas para una tecnología, sino también cuáles no se hacen. Por ejemplo, ¿una empresa de chatbots aborda el sesgo en su modelo? Es su clave para saber si ve una exageración no probada y potencialmente insegura o un avance genuino.

Al comprender la validez, las organizaciones y los consumidores pueden cortar a través de la exageración y llegar a la verdad detrás de las últimas tecnologías.

Temas