Robots mejoran su manejo de objetos gracias a un innovador dataset espacial

Los robots enfrentan un desafío natural al navegar por su entorno, ya que carecen de la percepción visual que poseen los humanos. Para abordar esta limitación, un grupo de investigadores de La Universidad Estatal de Ohio desarrolló un novedoso dataset llamado RoboSpatial, diseñado para mejorar la conciencia espacial en los robots.

En investigaciones recientes, se demostró que los robots entrenados con este dataset superaron a aquellos que utilizaron modelos de referencia en tareas robóticas, mostrando una comprensión compleja tanto de las relaciones espaciales como de la manipulación de objetos físicos.

La percepción visual en los humanos es fundamental para interactuar con el entorno, desde el reconocimiento de personas hasta la conciencia de los movimientos y la posición del cuerpo. A pesar de los intentos previos por dotar a los robots de estas habilidades, muchos esfuerzos no lograron el objetivo, ya que la mayoría de los modelos se entrenaron con datos que carecían de una comprensión espacial sofisticada.

El autor principal del estudio, Luke Song, quien actualmente cursa un doctorado en ingeniería en La Universidad Estatal de Ohio, explicó que la comprensión espacial es una de las capacidades más cruciales para que un robot tenga modelos de base verdaderamente generales. "Para tener modelos de base de propósito general, un robot necesita entender el mundo en 3D", afirmó.

El estudio fue presentado recientemente en la Conferencia sobre Visión por Computadora y Reconocimiento de Patrones y se publicó en el 2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).

RoboSpatial incluye más de un millón de imágenes del mundo real en interiores y mesas, miles de escaneos 3D detallados y 3 millones de etiquetas que describen información espacial relevante para la robótica. Este marco empareja imágenes egocéntricas 2D con escaneos 3D completos de la misma escena, permitiendo que el modelo aprenda a identificar objetos utilizando tanto el reconocimiento de imágenes planas como la geometría 3D.

Este proceso imita de cerca las pistas visuales del mundo real. Por ejemplo, mientras que los datasets de entrenamiento actuales pueden permitir que un robot describa con precisión un "tazón sobre la mesa", el modelo carecería de la capacidad para discernir dónde está realmente en la mesa, dónde debería colocarse para ser accesible o cómo podría encajar con otros objetos. En contraste, RoboSpatial podría poner a prueba rigurosamente estas habilidades de razonamiento espacial en tareas robóticas prácticas, primero demostrando la reubicación de objetos y luego examinando la capacidad de los modelos para generalizar a nuevos escenarios de razonamiento espacial más allá de sus datos de entrenamiento originales.

Song agregó que esto no solo implica mejoras en acciones individuales como recoger y colocar objetos, sino que también conduce a que los robots interactúen de manera más natural con los humanos.

Uno de los sistemas en los que el equipo probó este marco fue un robot asistencial Kinova Jaco, que ayuda a las personas con discapacidades a conectarse con su entorno. Durante el entrenamiento, el robot pudo responder correctamente a preguntas espaciales simples como "¿Puede la silla colocarse frente a la mesa?" o "¿Está la taza a la izquierda de la computadora portátil?".

Estos resultados prometedores revelan que normalizar el contexto espacial al mejorar la percepción robótica podría llevar a sistemas de IA más seguros y confiables, según Song. Aunque aún quedan muchas preguntas sin respuesta sobre el desarrollo y entrenamiento de la IA, el trabajo concluyó que RoboSpatial tiene el potencial de servir como base para aplicaciones más amplias en robótica, señalando que es probable que surjan avances espaciales más emocionantes a partir de él.

"Creo que veremos muchas mejoras significativas y capacidades interesantes para los robots en los próximos cinco a diez años", concluyó Song.

Los coautores del estudio incluyen a Yu Su de La Universidad Estatal de Ohio y a Valts Blukis, Jonathan Tremblay, Stephen Tyree y Stan Birchfield de NVIDIA.