Robótica · IA · IA física · Ciencia · Shanghai University
Un sistema de visión ligera guía el agarre de un brazo robótico
El estudio de Shanghai University combina selección de objetos, redes comprimidas y corrección geométrica en un equipo con GPU de consumo.
Fecha de la fuente original:
Lo esencial
- El estudio de Shanghai University combina selección de objetos, redes comprimidas y corrección geométrica en un equipo con GPU de consumo.
- La prueba abarca diez categorías de objetos. Los 67 milisegundos corresponden al procesamiento visual en GPU, no al ciclo completo de agarre.
Seleccionar y ajustar el agarre
Sensors publicó un sistema de agarre dirigido desarrollado en Shanghai University. La persona selecciona el objeto con un clic o indica una categoría conocida. El programa combina una versión comprimida de YOLOv8, segmentación con MobileSAMv2 y predicciones de GR-ConvNetv2; después ajusta geométricamente la posición, el ángulo y la apertura de la pinza.
Pruebas físicas y límites de la visión
El equipo probó el sistema con un brazo Kinova, una cámara de profundidad y un computador con GPU RTX 3050. En la selección por clic, reportó 95% de éxito con objetos aislados y 89,6% con objetos apilados, sobre 500 intentos por escenario. Procesar cada imagen tomó 67 milisegundos con GPU, sin incluir el movimiento completo del brazo. El detector se entrenó con diez categorías, y la vista superior única limita el manejo de oclusiones profundas.