详情

生成式人工智能在数字人短视频创作中的应用

申报人:王新如 申报日期:2024-01-14

基本情况

2024年度大学生创新创业训练计划
生成式人工智能在数字人短视频创作中的应用 学生选题
创新训练项目
艺术学
设计学类
教师科研项目选题
一年半期
随着科技的不断进步和人工智能技术的发展,数字人在不同领域的应用越来越引起人们的关注。而虚拟数字人作为一种通过计算机生成的虚拟形象,可塑性极高,可以表达出各种不同的个性和特征。我们利用生成式人工智能训练数字人,并应用在短视频制作中。

学术研究

1.论文:数字媒体艺术专业软件技能课程基于慕课的混合式教学初探,艺术教育,2019双创背景下高校数字媒体艺术专业招生方式改革,首届全国大学生创新创业实践联盟年会暨第二届双创实践新技术高峰论坛优秀论文,2019

2.课题:

1)上海市设计学IV类高峰学科研究专项基金:《基于媒介融合的海派传统工艺非遗数字化传播路径研究》(2018);

2)上海科普教育发展基金会资助社会公益科普项目 《融合AR技术和创新设计的大学校园安全科普新媒体研发》(2018);

3)国家新闻出版广电总局出版融合发展(华东师大社)重点实验室,开放课题基金项目《基于AR的安全教育科普媒体融合创新设计研究》(2018);

4)上海文化创意产教融合引领项目(建设全球影视创制中心)(2021);

作为上海市浦江学者,专注于三维数字影像技术的产业化应用研究,在体验经济和增强现实等方面有较强的研究基础。长期承担一线本科教学工作,善于运用创新思维开展课堂教学,注重教学与实践的结合。开展教学研究、学术研究、获得教学奖励的情况具体如下:

教学研究完成了十二五规划教材《3D影像基础》、主讲的《立体信息处理》课程已经正式申报上海市教委重点课程。指导大学生创新实践项目国家级2项,上海市级1项,校级1项。组织和指导学生参加全国数字艺术设计大赛、汇创青春上海大学生文化创意作品展

校级

项目成员

序号 学生 所属学院 专业 年级 项目中的分工 成员类型
王新如 艺术设计与传媒学院 数字媒体艺术 2021 负责整个项目的规划、组织、协调和控制,监督项目进展,管理项目资源
张吴珍 艺术设计与传媒学院 数字媒体艺术 2023 负责处理和管理项目所需的大量数据
叶雨霖 艺术设计与传媒学院 数字媒体艺术 2022 负责生成式数字人的建模修改,动画制作等
江静雅 艺术设计与传媒学院 数字媒体艺术 2021 负责生成式数字人的用户界面设计、用户体验设计和交互设计

指导教师

序号 教师姓名 教师账号 所属学院 是否企业导师 教师类型
蒋正清 08134 艺术设计与传媒学院
刘子潇 P0576 艺术设计与传媒学院

立项依据

如今虚拟数字人在短视频中的曝光率不断增加,但虚拟数字人常因自身的虚拟形象给人们一种不真实感和距离感,从而无法让受众产生真正的情感链接。而生成式人工智能数字人可以很好的解决这一问题,我们将使用生成式人工智能这一全新手段完成训练数字人于短视频制作推广。

项目主要研究运用数字技术创造与人类形象接近的数字,以及生成式人工智能的使用,利用虚幻引擎等程序生成数字人,渲染出数字人虚拟偶像、虚拟网红、虚拟员工),利用数字人制作具有传播价值的短视频,通过推广实现作品和产品的转化。并在AI大模型的驱动下,研究基于深度学习的自然语言生成技术与创造数字人手段的结合

从初音未来、洛天依等经典二次元虚拟歌姬偶像,到如今爆红的柳夜熙、AYAYI等越来越多的虚拟网红、偶像团体、时尚达人,甚至于连大公司都推出的虚拟员工,虚拟人已然成为大热潮流。短视频凭借碎片化、娱乐化、个性化模式成为人们生活、休闲、娱乐、营销的重要方式,成为全场景渗透、多垂类涉猎的媒介社会化方式。

我们利用数字媒体艺术专业优势,打造独特的数字人形象,并通过生成式人工智能训练模型制作短视频推广。“数字人”具有性价比高、可控性强、多元化等优势。随着技术的发展,利用AI训练数字人,可高效实现数字人直播、数字人讲解等,从而达到进一步降低人力、物力成本的目的,故随着人工智能技术、元宇宙等技术的发展,“数字人”未来可期虚拟数字人在内容和周边产品产出方面有着较强的可塑性,短视频爆款几率较多,传播迅速且广泛,并能根据时代潮流发展不断衍生进化开发新的爆点,因此行业增长的延续性较强,未来一段时间内都将保持稳定增长态势。

前期,我们将进行大量的生成式人工智能技术的学习,调查现在短视频上面主流的IP虚拟数字人形象,并进行总结,升级改造现有的数字人模型,然后用三维软件制作大量符合人物形象的动画,用于训练生成式模型的各个方面。在主流短视频平台上面调研最受人们欢迎的数字人形象和短视频的内容。准备好适合运行生成模型的硬件和软件环境,包括高性能的计算设备、合适的开发框架和工具,以及必要的软件和库依赖。最后使它们可以通过文字描述直接生成短视频(交互式人工智能),最终呈现出数媒空间与时代同行,将艺术与科技结合的成果。数字人的形式更加具有创新意义,能够更快的切入到年轻的群体中。

2024.1.10-2.10前期创新点寻找,讨论储备技术知识,改进模型,制作模型动画。

2024.2-3前期资料搜集,如数字人直播、数字人讲解、虚拟直播、短视频创意。

2024.2-3生成式AI训练数字人,使用初步成果制作短视频,交互的内容确定与试做,衍生品的确定与设计花絮拍摄

2024.3-2024.4数字人训练与生成视频的细化与拆分,完成完整的交互流程与逻辑衍生产品的细化与完成技术类短视频制作推广

2024.4-6  b站或抖音首次进行虚拟形象的直播/视频录制与上传,观察投放效果与进行检查修改。并提交好创意大赛赛道。

2024.6-2024完成后续申报

现有数字人模型

电脑、数位板、关于虚拟数字人的文献资料。

经费预算

开支科目 预算经费(元) 主要用途 阶段下达经费计划(元)
前半阶段 后半阶段
预算经费总额 0.00 0.00 0.00
1. 业务费 0.00 0.00 0.00
(1)计算、分析、测试费 0.00 0.00 0.00
(2)能源动力费 0.00 0.00 0.00
(3)会议、差旅费 0.00 0.00 0.00
(4)文献检索费 0.00 0.00 0.00
(5)论文出版费 0.00 0.00 0.00
2. 仪器设备购置费 0.00 0.00 0.00
3. 实验装置试制费 0.00 0.00 0.00
4. 材料费 0.00 0.00 0.00

项目附件

  • 大学生创新创业训练计划项目申报书-创新训练类.doc
    下载
结束