Un equipo de investigadores de la Universidad Estatal de Pensilvania (Penn State) desarrolló una nueva herramienta de asistencia para personas con discapacidad visual, capaz de identificar objetos en tiempo real y guiar físicamente al usuario hacia ellos mediante comandos de voz y señales hápticas. La aplicación, llamada NaviSense, recibió el Premio al Mejor Póster del Público en la conferencia SIGACCESS ASSETS '25 de la Association for Computing Machinery, celebrada en octubre en Denver.
Según los desarrolladores, NaviSense se diferencia de otros sistemas de ayuda visual al combinar modelos de lenguaje de gran tamaño (LLM) y modelos de visión-lenguaje (VLM). Esta integración permite a la aplicación operar sin necesidad de precargar modelos específicos de objetos, lo que ofrece una mayor flexibilidad en su uso. "Mediante el uso de VLM y LLM, NaviSense puede reconocer objetos en su entorno en tiempo real mediante comandos de voz", explicó Vijaykrishnan Narayanan, profesor de Penn State y líder del proyecto.
El sistema emplea las funciones de audio y vibración del teléfono móvil para dirigir al usuario hacia los objetos solicitados. Cuando no comprende la instrucción inicial, la herramienta formula preguntas adicionales para refinar la búsqueda. Además, NaviSense rastrea el movimiento de la mano del usuario para ofrecer orientación precisa durante la interacción física con el objeto.
.jpg)
Previo a su desarrollo, el equipo realizó entrevistas con personas con discapacidad visual para adaptar las funcionalidades de la herramienta a sus necesidades reales. "Estas entrevistas nos dieron una buena idea de los desafíos reales que enfrentan las personas con discapacidad visual", comentó Ajay Narayanan Sridhar, estudiante de doctorado y principal investigador del proyecto.
Durante las pruebas, 12 participantes compararon NaviSense con otras dos herramientas comerciales. Los resultados mostraron una reducción significativa en el tiempo requerido para localizar objetos y una mayor precisión en la detección. Un usuario señaló: "Me gusta que te dé pistas sobre la ubicación del objeto, ya sea a la izquierda o a la derecha, arriba o abajo, y luego, ¡bum!, lo has conseguido".
Aunque la herramienta aún no fue comercializada, el equipo trabaja en mejorar el consumo energético y la eficiencia de los modelos IA para facilitar su implementación generalizada. La investigación fue financiada por la Fundación Nacional de Ciencias de Estados Unidos y contó con la participación de expertos de otras instituciones como la Universidad del Sur de California. (NotiPress)
