教授，博士生导师，学科负责人。承担国家自然科学基金两项、重点研发计划一项、上海市科研基金三项、企业委托研发等30余项科研项目，发表学术论文150余篇，发明专利12项，软件著作权8项。指导学生参加大学生创新实践结题优秀三项，参加各类竞赛获得上海市一等奖三项、二等奖六项。

1.项目背景和意义

    随着老龄化社会的到来，视力障碍人群的自主出行需求逐渐增加。据统计，全球视力障碍人口已超过2.5亿，随着城市化进程的不断加快，视力障碍者在日常生活中面临的出行挑战也日益增加。目前市场上已有的一些导盲设备如导盲杖、智能导盲眼镜等，虽然在一定程度上为视力障碍者提供了帮助，但其在复杂环境中的适应性和灵活性仍然不足，尤其是在处理动态变化和识别多样化障碍物时存在较大局限性。

    传统导盲设备大多依靠单一的传感器，无法有效融合多种感知信息来获取环境的全面理解，尤其是在面对高动态环境（如复杂的交通路况、拥挤的城市街道）时，设备的实时反应能力和精准导航存在明显不足。因此，开发一种结合多模态感知与自适应路径规划技术的智能导盲系统，不仅可以显著提高视力障碍者的出行安全性，还能提升他们的生活独立性和社会参与度。

2. 主要研究内容

    1）多模态感知技术：使用雷达、IMU、单目或双目相机等传感器采集用户周围环境信息，并通过FAST-LIO2算法与深度学习模型进行数据融合，构建实时的三维场景。具体而言，激光雷达用于获取环境的深度信息，IMU用于捕捉设备的运动状态，而相机用于捕捉视觉特征。通过多种传感器的数据融合，系统能够生成一个准确、实时的三维环境模型，为路径规划和障碍物检测提供基础。

    2）NLP与CV集成：通过自然语言处理模块理解用户的语音指令，例如导航目标、路径更改请求等，结合计算机视觉模块对周围环境进行分析，识别并定位障碍物和重要地标。NLP模块用于将用户的指令转换为系统可以理解的操作，而CV模块则用于实时分析周围环境中的障碍物，例如车辆、行人等，帮助用户在复杂环境中进行安全的动态避障。

3）自适应路径规划：基于高德地图API进行全局路径规划，系统可以为用户提供最优的出行路线。当遇到障碍物或环境发生变化时，系统能够动态地调整路径，确保用户安全抵达目的地。自适应路径规划能够使系统在复杂多变的环境中对路径进行实时调整，保证出行的顺畅与安全。