Inteligencia Artificial / Interacción Humano-Robot

¿Se puede construir el grafo de tareas de un robot a partir de videos de personas?

4 de oct de 20264 min de lectura
Matriz de confusión normalizada por filas para ocho clases de acción
Tesis de maestría: Alvarez, Daniel A. NEOPATH: Towards Semantic Action Graph Construction from Human Demonstrations for Traceable and Modifiable Robot Task Planning. Universidad de los Andes, 2026.

NEOPATH representa una tarea como un grafo en el que los nodos son objetos, las aristas son acciones y los pesos son costos aprendidos. Cada decisión del robot se puede rastrear hasta una arista y un número, y ese número se puede editar sin reentrenar. El trabajo pregunta si las etiquetas que entrenan el grafo pueden extraerse automáticamente de videos de personas cocinando. Con personas no vistas en el entrenamiento, tres clasificadores distintos aciertan entre el 48,7 y el 65,0 % en ocho clases de acción, y el grafo reproduce la acción real en cerca de la mitad de los eventos. El planificador funciona en simulación, no en un robot real.

Contexto

Los modelos de visión, lenguaje y acción (VLA) llevan la imagen y la instrucción directamente al control, sin un paso intermedio que se pueda inspeccionar. Los planificadores simbólicos son legibles, pero sus costos los escribe un ingeniero. NEOPATH busca un grafo explícito cuyos costos se aprenden de demostraciones, porque en educación y en colaboración con personas hace falta explicar por qué el robot eligió una acción.

El grafo

Un grafo semántico une conceptos (taza, cuchillo, las manos del robot) con las acciones de un vocabulario fijo. Un grafo perceptual guarda los objetos detectados, su posición 3D y sus relaciones espaciales. Una red de atención sobre grafos multiplica el costo base de cada acción por un factor entre 0,1 y 2,0. La red solo reescala costos; el plan sale de una búsqueda de camino más corto con el algoritmo de Dijkstra.

De video a etiquetas

Cada cuadro pasa por un segmentador de objetos, un rastreador de la mano y un estimador de profundidad. Cuando la mano queda a menos de 150 px de un objeto se toman cuatro cuadros, unos 0,3 s. Los 97 verbos de EPIC-KITCHENS-100 se agruparon en ocho acciones que el brazo puede ejecutar, como agarrar, mover, cortar o verter.

Clasificador

Arquitectura del clasificador: CLIP sobre cuatro cuadros, agregación temporal y características de movimiento de la mano

Sobre CLIP, promediar cuatro cuadros en lugar de uno subió la exactitud en 16,8 puntos, y añadir la apertura de la mano, que distingue agarrar de mover, la llevó a 65,0 % en un participante.

La fuga de datos

Esas cifras estaban infladas. Cada segmento producía hasta cuatro ventanas casi idénticas, y al dividir por ventana unas quedaban en entrenamiento y otras en prueba. Al agrupar por participante la exactitud cayó:

Enfoque División por ventana División por participante
Embeddings congelados + GBM 56,8 % 48,7 %
Ajuste fino de 8 capas 70,7 % 49,6 %

El modelo con más capacidad de memorizar es el que más perdió. El artículo advierte que el mismo error probablemente afecta a otros sistemas que muestrean ventanas de video.

Resultados

Con la división corregida, una adaptación LoRA sobre CLIP ViT-L/14 llegó a 65,0 %, una cifra optimista porque el punto de control se eligió con los mismos participantes de prueba. La exactitud balanceada es de 31,8 %. La matriz de confusión del encabezado muestra por qué: agarrar tiene 0 % de recuperación, y cortar, verter y desplazar se confunden sobre todo con mover.

En tres videos de un participante no visto (342 eventos), el grafo coincidió con la distribución real de acciones en el 48,5 % de los eventos. Predecir los costos toma 5,8 ms por evento.

En un brazo Jetcobot simulado en MuJoCo, 96 de 102 planes terminaron y fallaron 3 de 207 pasos. Tras cada falla se penalizó la arista y el nuevo plan se completó.

Lo que falta

Las cifras vienen de una sola partición sin grupo de validación, así que no hay intervalos de confianza. No se ha medido cómo los errores sistemáticos del clasificador cambian los planes. La red de grafos se entrenó con dos escenarios de un video y no se ha comparado con costos fijos. La simulación usa cubos y agarres programados, sin comparación con otros planificadores ni robot real.

Como tres arquitecturas se quedaron en el mismo rango, el artículo concluye que el límite es la diversidad de personas: solo 18 de los 37 participantes de EPIC-KITCHENS-100 tienen etiquetas públicas. Se propone incorporar Ego4D y evaluar con estudiantes el uso educativo: editar un costo, volver a planear y observar el cambio.

Relación con Robiolab

NEOPATH usa la misma estructura de grafo semántico y perceptual que el razonamiento autónomo para un humanoide, donde las acciones y sus restricciones se definían a mano; aquí el peso de cada acción se aprende de video. Con el humanoide que imita los brazos de una persona comparte la idea de aprender del cuerpo humano visto por una cámara, y su propósito educativo lo acerca al brazo robótico de acrílico. Deja código público, un vocabulario de acciones ejecutables y una advertencia sobre cómo evaluar clasificadores de video. El trabajo se presentó en SAMYRAD 2026, un congreso sobre inteligencia artificial y educación.

Grafos semánticosAprendizaje por demostraciónReconocimiento de accionesRedes neuronales de grafosEPIC-KITCHENS