Navigation menu
现代快报讯(记者 于露)近日,南京邮电大学宽带无线通信与传感网技术教育部重点实验室、通信与信息工程学院青年教师高赟博士与团队成员共同为视障人士研发了一种可穿戴避障设备,该设备基于融合多模态数据处理与跨模态学习,能够显著提升出行避障的可靠性、响应速度、续航时间以及用户友好性。
随着传感器与人工智能技术的不断进步,基于智能穿戴设备的辅助方式逐渐受到关注。但当前多数避障设备仍难以兼顾高可靠性、低延迟、长续航与良好用户体验。为突破上述瓶颈,团队自主研发一种可穿戴设备,助力视障人士实现独立、安全出行。
该可穿戴避障设备由一副约400g的眼镜和一部智能手机组成。眼镜端集成多模态传感器,可实时采集环境视频与深度信号,智能手机端在接收到多模态信号后,立即向用户发出听觉和触觉警报以提示避障。
如何确保障碍物检测的精确性?团队在眼镜和智能手机端上做出优化。在眼镜端,通过深度辅助的视频压缩模块,自适应压缩视频数据以减少传输至智能手机的延迟;在手机端,设计了一个跨模态障碍物检测模块,对视频与深度特征进行融合对齐,进一步增强识别精度与环境适应能力。
为有效控制设备功耗,团队还设计了一种计算架构,引入多浮点向量处理单元的流处理结构,大大优化了核心计算模块的效率,实现了避障设备在保障性能的同时,具备长时间续航的能力。
该研究是通信、可穿戴技术、人工智能交叉领域的重要研究,相关成果发表于国际学术期刊Nature Communications。