大学生创新创业训练计划管理系统
2025年度大学生创新创业训练计划
基于无监督增强对比学习的深度伪造视频检测方法研究
创新训练项目
工学
计算机类
一年半期
信息科学与工程学院
杨海
指导教师
1) 国家自然科学基金，青年项目，61902126，基于多组学数据整合与深度学习的癌症驱动基因研究，2020-01至2022-12，25万元，主持
2) 上海市2024年度“科技创新行动计划”面上项目, 全基因组数据整合的癌症亚型识别方法研究, 2024-10至2027-09，20万元，主持
3）国家重点研发计划“生物与信息融合(BT 与IT融合)”重点专项，“支撑创新药物靶标发现与分子生成的新一代人工智能技术研发及应用”子课题，2024，300万元，参与
4）国家重点研发计划 “高精准分子识别有机半导体光电双模智能嗅觉传感器”子课题，2022年，300万元，参与
指导教师于中国科学院大学获得博士学位，在美国范德堡大学工作四年，现为华东理工大学副教授、硕士生导师。目前正在进行人工智能智能领域的相关研究工作，主要目标是开发多模态数据与人工智能领域的深度学习算法，进行机器学习、人工智能、生成式AI、生物医疗等研究。主持国家自然科学基金青年基金1项，上海市自然科学基金面上项目1项，以骨干身份参与国家重点研发计划项目2项。发表高水平期刊和会议文章六十余篇，包括Nature Neuroscience、Cell Reports Methods、Bioinformatics等，授权专利八项，H因子15，谷歌总引用716次。成果得到多国学者的广泛引用和正面评价。与北京大学第三医院合作，针对肝硬化超声影像进行了深入分析，使用迁移学习开发了一个支持端到端级别的肝硬化超声影像自动诊断系统，在未经标注的实际超声影像数据上取得了肝硬化检测正确率超过95%。指导教师会全力支持本项目的创新研究及开发，让学生在学习到人工智能领域最新知识的同时，能够发挥其编程能力完成核心算法的设计以及开发。
当前，深度伪造视频在互联网中广泛传播，严重影响了公众的信任度和社会安全。尽管近年来出现了越来越多可靠的检测方法来应对这种新兴的篡改技术，但仍存在一些亟待解决的问题。特别是，大多数基于监督机制的深度伪造视频检测器需要大量带有准确标签的样本进行训练。当带有真实标签的训练样本不足或训练数据被恶意对抗者污染时，监督分类器的检测效果可能不可靠。为了解决这一难题，拟设计一种完全无监督的深度伪造检测器。在整个训练和测试过程中，不依赖任何关于样本真实标签的信息。首先，创新性地设计了一种伪标签生成器，利用传统的手工特征对样本进行标注，区分真实与伪造视频。其次，将带有伪标签的训练样本输入到所提出的增强对比学习模型中，通过对比损失的指导，进一步提取和迭代优化判别特征。最后，基于帧间相关性，完成真实与伪造视频的最终二分类。未来，通过在包括FF++、Celeb-DF、DFD、DFDC和UADFV等基准数据集上的大规模实验，将验证所提出的无监督深度伪造检测方法的有效性。此外，预期该检测器在当前无监督方法中表现优异，并能与基线监督方法相媲美。更为重要的是，在面对被恶意对抗者污染的标注数据或训练数据不足的问题时，所提出的无监督深度伪造检测器将展示其强大的优势。