多次指导学生参加各级赛事并指导学生基于大创项目发表学术论文;
2022年上海市大学生计算机应用能力大赛“优秀指导教师”;
2020年中国大学生计算机设计大赛“星级优秀指导教师”。
多次指导学生参加各级赛事并指导学生基于大创项目发表学术论文;
2022年上海市大学生计算机应用能力大赛“优秀指导教师”;
2020年中国大学生计算机设计大赛“星级优秀指导教师”。
| 序号 | 学生 | 所属学院 | 专业 | 年级 | 项目中的分工 | 成员类型 |
|---|---|---|---|---|---|---|
|
|
黎庭熙 | 信息科学与工程学院 | 计算机金融双学位 | 2023 | 数据收集与处理、模型设计、模型训练与优化、撰写论文 |
|
|
|
惠宇升 | 信息科学与工程学院 | 自动化 | 2023 | 数据收集与处理、模型设计、模型训练与优化、撰写论文 |
|
|
|
刘明传 | 信息科学与工程学院 | 计算机金融双学位 | 2023 | 数据收集与处理、模型设计、模型训练与优化、撰写论文 |
|
|
|
闫紫盈 | 信息科学与工程学院 | 0639/计算机科学与技术 | 2023 | 数据收集与处理、模型设计、模型训练与优化、撰写论文 |
|
| 序号 | 教师姓名 | 教师账号 | 所属学院 | 是否企业导师 | 教师类型 |
|---|---|---|---|---|---|
|
|
胡庆春 | 06228 | 信息科学与工程学院 | 否 |
|
随着人工智能技术的迅速发展,情感识别与支持策略的研究备受关注。用户在论坛中发布的问题往往带有一定的情感色彩,如焦虑、困惑、兴奋等。准确识别这些情感并采取相应的情感支持策略,有助于提升用户的满意度。
本项目旨在研究并开发情感分析技术,将其应用于系统中,实现对用户情感状态的准确识别和有效支持。通过深入挖掘情感分析技术在系统中的潜在应用,提升系统对用户情感的感知能力,从而提高系统的交互体验和服务质量。(本课题先以课程学习网站中的学生答疑数据为例)
1.收集并整理学生答疑论坛中的历史问题数据,构建情感识别数据集。
2.设计并实现基于深度学习的情感识别模型,用于自动识别学生问题的情感倾向。
3.分析学生问题的情感分布特征,探讨不同情感类型对学习效果的影响。
4.提出并验证情感支持策略,如个性化回复、情感共鸣反馈等,以提升学生的情感体验和满意度。
1. 基于情感词典的情感分析
在情感词典领域,国内研究者如清华大学的团队和北大的研究者进行了一些重要工作。清华大学的研究团队提出了一种基于中文语境的情感词典构建方法,可以有效地处理中文文本中的情感信息。北大的研究者还构建了一个中文情感数据集,用于评估中文情感分析模型的性能。目前已经存在一些通用的中文情感词典,比较有代表性的有知网的Hownet情感词典[2]、清华大学李军中文褒贬义词典[3]、台湾大学 NTUSD简体中文情感词典[4]、BosonNLP 情感词典[5]等.研究表明,与传统的情感词典相比,特定领域的情感词典可以提高情感分析的效果[7],通用的情感词典难以覆盖特定领域中的情感表达。构建针对特定领域的情感词典,可以使深度学习模型更好地适应特定领域的情感分析任务[1]。
在情感词典领域,国外研究者如Harvard大学的团队和斯坦福大学的研究者进行了一些重要工作。Harvard大学的研究团队提出了一种基于词向量的情感词典构建方法,利用大规模语料库和情感标注数据来扩展和更新情感词典。斯坦福大学的研究者则提出了一种基于情感词典的情感分析算法,通过将文本中的词语映射到情感词典中的情感词汇,实现了情感分析的任务[30]。
2.多模态情感分析
多模态情感分析是通过同时分析文本、视频和声音特征来准确识别个体情绪状态的重要研究方向。该任务是由 Xu 等[7]首次提出的。自 BERT 模型展现出强大的能力,许多研究者都将其运用到多模态情感分析任务中来。Yu等[8]提出 TomBERT引入了一套全新的多模态 BERT结构,用 BERT 来实现多模态的深层次交互。
在多模态情感分析领域,国内研究者如腾讯研究院和阿里巴巴进行了一些实际应用研究。腾讯研究院开发了基于情感分析的社交媒体舆情监测系统,可以实时监测社交媒体上的情感倾向和舆情动向。阿里巴巴推出了基于情感分析的智能客服系统,可以根据用户的情感状态调整客服机器人的回答策略。
在多模态情感分析领域,国外研究者如CMU的团队和MIT的研究者取得了一些重要进展。CMU的研究团队提出了一种基于文本和音频的多模态情感分析方法,结合了文本内容和说话者的语音特征,提高了情感分析的综合性能。MIT的研究者则探索了基于深度学习的多模态情感分析方法,如使用CNN和RNN来处理多模态数据,提高了情感分析的准确性和效率[31]。
尽管当前的情绪识别算法使用多模态融合策略表现良好,但仍然存在有效提取模态不变和模态特定特征的挑战。
3.基于深度学习的情感分析
深度学习在情感分析中的应用得到了广泛关注。相关研究例如:
(1)Yaai Wang等使用卷积神经网络对中文微博进行了更细粒度的情感分析。[9]
(2)刘龙飞等通过使用卷积神经网络分别学习字级别和词语级别的情感特征,实验表明,字级别的情感特征获得了更高的分类准确率。[10]
(3)XiaoSUN等提出了基于内容扩展的卷积神经网络情感分析。[11]
(4)Zhang Yangsen等提出了一种基于RNN的情感分类方法,先训练词向量,然后使用RNN训练具有句向量,这样得到的句向量既包含词语的语义特征,也包含了词语的序列特征。[12]
(5)Liu Yanmei等将两种方法结合起来用于情感分析任务上,先使用CNN学习微博的情感特征,再使用SVM和RNN训练分类器。[13]
|
不同类型情感分析方法的优缺点 |
|||
|
|
情感词典 |
多模态 |
深度学习 |
|
原理 |
1. 词典构建 首先需要构建一个情感词典。这个词典包含了一系列带有情感倾向的词汇,每个词汇都有一个对应的情感得分,例如,“高兴”可能被赋予一个较高的正面情感得分,“悲伤”被赋予一个较低的负面情感得分[15]。 2. 文本情感计算 对于给定的文本,将文本进行分词处理。然后,遍历文本中的每个词汇,在情感词典中查找对应的情感得分。如果词汇在词典中存在,就将其情感得分累加到总的情感分数中。最后,根据总的情感分数来判断文本的情感倾向【21】。 |
多模态学习是一种机器学习方法,旨在从多种数据类型(如文本、图像、音频和视频)中学习有意义的特征和模式。在情感分析任务中,多模态学习可以通过结合不同类型的数据来提高准确性和可靠性[18]。 1. 特征提取 将文本表示为特征向量。常见的方法是词袋模型,即将文本看作是词汇的集合,每个词汇是一个特征。对于给定的文本,统计每个词汇在文本中出现的次数,构成一个向量。 2. 模型训练 利用训练数据集(包含已经标注好情感倾向的文本)来训练朴素贝叶斯模型。 |
1. 文本表示 首先将文本中的词汇转换为词向量。词向量是一种低维的实数向量,能够在一定程度上表示词汇的语义信息[25]。例如,通过预训练的词向量模型(如Word2Vec、GloVe等)将文本中的每个词汇转换为一个固定维度的向量【20】。 2. 模型构建 构建循环神经网络(RNN)来处理文本序列。 3. 情感分类 |
|
优点 |
1. 简单易懂 基于情感词典的方法通过匹配文本中的词汇与预定义的情感词典进行情感分析,建模过程相对简单【15】。 2. 可解释性强 由于依赖于人工构建的词典,结果具有较高的可解释性,容易理解分析依据【16】。 3. 适用于大规模文本数据 可以快速处理大量文本数据,不需要复杂的特征工程【17】。
|
1. 信息互补性 结合文本、语音、图像等多种模态的信息,可以更全面地理解情感状态,提高情感识别的准确性和稳定性【17】。 2. 适应性强 适用于多种应用场景,如社交媒体评论、视频内容分析等,能够处理多媒体数据[18]。 3. 融合技术多样 包括特征级融合、决策级融合和混合融合等多种融合策略,可以根据具体需求选择合适的融合方式【15】。 |
1. 高准确率 深度学习模型能够自动提取特征,无需人工特征工程,且在大规模数据集上表现优异。 2. 自动化程度高 能够自动执行情感分析任务,节省时间和精力,同时确保一致性和客观性【18】。 3. 适应性强 能够适应新领域和新数据源,只需少量或无需重新训练即可迁移应用。
|
|
缺点 |
1. 依赖性强 对情感词典的准确性和完整性高度依赖,如果词典不全面或过时,可能无法捕捉到新兴词汇或特定领域的表达【19】。 2. 迁移能力弱 在不同领域或语言中效果不佳,需要重新构建词典【19】。 3. 无法处理复杂语境 对于混合情感或上下文复杂的文本,难以准确判断情感倾向。 |
1. 数据获取与标注困难 多模态数据的获取和标注涉及隐私和伦理问题,且不同模态间的数据一致性难以保证。 2. 计算复杂度高 需要处理多种模态的数据,计算负担较大,尤其是在实时应用中【20】。 3. 融合挑战 如何有效融合不同模态的信息是一个技术难点,需要复杂的模型设计和优化。
|
1. 数据需求量大 需要大量的标注数据进行训练,否则模型性能可能下降。 2. 训练时间长 深度学习模型的训练通常耗时较长,尤其是在大规模数据集上【21】。 3. 解释性差 模型的决策过程复杂,难以解释预测结果,影响模型的可信度。
|
|
不同类型情感分析方法在不同情形下的优缺点 |
||||
|
|
情感词典 |
多模态 |
深度学习 |
|
|
产品评论分析[14] |
优点 对于情感极性明显的评论效果较好。 缺点 无法处理复杂的情感,如讽刺或双关语。 需要不断更新词典以适应新词汇[15]。 |
优点 结合了文本和图像信息,可以更准确地分析带有图片的产品评论。 对于视觉情感表达有较好的识别能力[22]。 缺点 数据处理复杂,需要大量计算资源。 可能会因为模态间的信息不一致而导致分析错误。 |
优点 能够捕捉评论中的隐含情感。 随着数据量的增加,模型效果会不断提升[26]。 缺点 需要大量标注数据。 |
|
|
社交媒体舆情监测[28] |
优点 快速筛选出带有明显情感倾向的帖子。 适用于资源有限的情况。 缺点 难以处理网络新词和俚语。 无法准确分析带有复杂情感的帖子。 |
优点 可以分析包含图片和视频的社交媒体内容。 对于表达强烈的视觉情感内容敏感。 缺点 同样面临模态融合的挑战[23]。
|
优点 能够处理大规模的社交媒体数据。 能够识别复杂的情感和隐含的情感倾向[26]。 缺点 容易受到虚假信息和机器人账号的影响。
|
|
|
智能客服系统[27] |
优点 快速响应:能够迅速识别用户情绪,及时调整客服策略。 易于理解:情感词典的规则简单,便于非技术人员理解和使用。 缺点 灵活性不足:难以处理复杂或模棱两可的情感表达。 更新困难:需要不断更新词典以适应新词汇和表达方式。 |
优点 全面性:结合文本、语音、面部表情等多方面信息,更准确地理解用户情绪。 增强交互:可以提供更自然的交互体验[22]。 缺点 资源消耗大:需要大量计算资源和存储空间。 技术复杂:多模态融合技术复杂,难以实现和维护。 |
优点 高度灵活:能够处理复杂的情感表达,包括隐含情绪和语境依赖。 自我优化:随着数据量的增加,模型可以不断优化。 缺点 训练成本高:需要大量标注数据和高性能计算资源[26]。 解释性差:深度学习模型的决策过程难以解释,可能影响用户信任。 |
|
|
用户反馈分析[16] |
优点 操作简便:通过简单的规则匹配,可以快速分析大量用户反馈。 成本较低:不需要复杂的算法和大量的计算资源[28]。 缺点 准确性有限:难以捕捉到文本中的细微情感差异。 适应性差:对于新出现的词汇和表达方式不够敏感。 |
优点 信息丰富:结合文本和语音等多模态信息,可以更全面地理解用户反馈。 情感识别准确:有助于识别非言语信息中的情感,如语调变化。 缺点 实施难度大:多模态数据收集和处理较为复杂[22]。
|
优点 高准确性:能够识别复杂的情感表达,包括语境和隐含情感。 自动适应:模型可以随着数据积累自动调整,提高分析准确性。 缺点 数据需求大:需要大量标注良好的数据来训练模型[26]。 透明度低:模型的决策过程不够透明,可能影响分析的可靠性。 |
|
[1]蒋昊达,赵春蕾,陈瀚,等.基于改进TF-IDF与BERT的领域情感词典构建方法[J].计算机科学,2024,51(S1):162-170.
[2] DAIL,LIUB,XIAY,etal.Measuring Semantic Similarity between Words Using HowNet [C]∥2008International Conference on Computer Science and Information Technology, LosAlamitos, USA:IEEE Computer Society,2008:601605.
[3] LIJ,SUNM.Experimental Study on Sentiment Classification of Chinese Review using Machine Learning Techniques[C]∥2007
International Conference on Natural Language Processing and
Knowledge Engineering.Piscataway, USA: IEEE,2007:393400.
[4] KUL,CHENH.Mining opinions from the Web : Beyond relevance retrieval[J].
Journal of the American Society for Information Science and Technology,2007,58(12):18381850.
[5] ZHAIY,WANGZ,ZENGH,etal.Social Media Opinion Leader Identification Based on Sentiment Analysis[C]∥Proceedings of the2021International Conference on Bio informatics and Intelligent Computing.New York, USA: Association for Computing Machinery,2021:436440.
[6]PARKS,LEEW,MOONI Efficient extraction of domain specific sentiment lexicon with active learning[J].Pattern Recognition Letters,2015,56(Apr.15):38-44.
[7] Xu N, Mao W, Chen G. Multi-interactive memory network for aspect based multimodal sentiment analysis[C]//Proceedings of the AAAI Conference on Artificial
Intelligence. 2019, 33(01): 371-378.
[8] Yu J, Jiang J. Adapting BERT for target-oriented multimodal sentiment classification[C]. IJCAI, 2019.
[9] Wang Y, Feng S, Wang D, et al. Multi-label Chinese Microblog Emotion Classification via Convolutional Neural Network[C]// Asia-Pacific Web Conference. Springer International Publishing, 2016:567-580.
[10] 刘龙飞, 杨亮, 张绍武,等. 基于卷积神经网络的微博情感倾向性分析[J]. 中文信
息学报, 2015, 29(6):159-165.
[11] Sun X, Gao F, Li CC, etal. Chinese Microblog Sentiment Classification Based
on Convolution Neural Network with Content Extension Method[C]// International Conference on Affective Computing and Intelligent Interaction (ACII), 2015:
408-414.
[12] Zhang Y, Jiang Y, Tong Y. Study of Sentiment Classification for Chinese Microblog Based on Recurrent Neural Network[J]. Chinese Institute of Electronics, 2016, 25(4):601-607.
[13] Liu Y, Chen Y. Research on Chinese Micro-blog Sentiment Analysis Based on
Deep Learning[C]// 8th International Symposium on Computational Intelligence
and Design, 2015:358-361.
[14]崔滕.基于深度学习的电商用户评论的情感分析[D].太原师范学院,2024.DOI:10.27844/d.cnki.gtysf.2024.000402.
[15]rubyw 2024-10-10 机器学习:情感分析的原理、应用场景及优缺点介绍https://blog.csdn.net/rubyw/article/details/142828530
[16]章荪.面向多模态社交数据的情感分析技术研究[D].南京信息工程大学,2022.DOI:10.27248/d.cnki.gnjqc.2022.000009.
[17]张泽华,柴豪.国内外大模型在情感分析中对比与应用策略[J/OL].重庆工商大学学报1-11[2024-11-18].http://kns.cnki.net/kcms/detail/50.1155.N.20241015.1411.004.html.
[18]李巍.多模态理论在海外汉语视听说教学中的应用研究[J].教育教学论坛,2022,(40):146-150.
[19]Multichannel Multimodal Emotion Analysis of Cross-Modal Feedback Interactions
https://link.springer.com/content/pdf/10.1007/s11063-024-11641-w.pdf
[20] Multimodal Sentiment Analysis. Intisar O. Hussien and Yahia Hasan Jazyah.
https://thescipub.com/pdf/jcssp.2018.804.818.pdf
[21]李辉国.基于深度学习的微博评论情感分析方法的研究与应用[D].南昌大学,2024.DOI:10.27232/d.cnki.gnchu.2024.001897.
[22] Research Advanced in Multimodal Emotion Recognition Based on Deep Learning. Weiqi Kong et al.
https://drpress.org/ojs/index.php/HSET/article/download/18458/17993
[23] Hello.Reader 2024-10-07 多模态技术全面概述:核心原理、关键技术与未来趋势
https://blog.csdn.net/weixin_43114209/article/details/142713226
[24] 基于情感信息辅助的多模态情绪识别. 吴良庆等. http://tcci.ccf.org.cn/conference/2019_1007/papers/CN100.pdf
[25] 李文潇,梅红岩,李雨恬.基于深度学习的多模态情感分析研究综述[J].辽宁工业大学学报(自然科学版),2022,42(05):293-298.DOI:10.15916/j.issn1674-3261.2022.05.003. [12] 文本分类与情感分析的深度学习方法 [2024-07-15]
[26]陈铭昌.基于自然语言处理的人工智能客服服务系统设计[J].信息与电脑(理论版),2024,36(07):93-96.
[27]李艳.基于BERT和深度学习的网络舆情情感分析[J].信息记录材料,2024,25(05):100-102.DOI:10.16009/j.cnki.cn13-1295/tq.2024.05.047.
[28]胡辉.基于用户语音情感分析的景区反馈评估方法[J].电声技术,2024,48(10):95-97.DOI:10.16311/j.audioe.2024.10.028.
[29] Wang Q, Peng S, Zha Z, Han X, Deng C, Hu L and Hu P (2023) Enhancing the conversational agent with an emotional support system for mental health digital therapeutics.Front. Psychiatry14:1148534. doi: 10.3389/fpsyt.2023.1148534
[30] Using Lexical-semantic Concepts for Fine-grained Classification in the Embedding Space by Michael Amsler
[31] Multimodal sentiment system and method based on CRNN-SVMYuxia Zhao 1,2,3 ? Mahpirat Mamat 1,4 ? Alimjan Aysa 1,4 ? Kurban Ubul 1,4 Received: 30 August 2022 / Accepted: 13 February 2023 / Published online: 11 March 2023
1.通过优化深度学习模型,组合现有不同的神经网络,有效提高情感分析的准确率。综合利用不同类型的神经网络结构,能够更好地捕捉文本中的情感信息,从而提高情感分析的性能。
2.在构建词向量时,结合情感词典进行辅助,可以调整权重系数以平衡句子情绪标签和情感词的影响。这种方法有助于提高情绪识别的准确性,使模型更好地理解文本中的情感内容。
3.采用多模态情感分析方法,综合考虑文本和非文本特征,可以更准确地识别个体的情绪状态。通过综合分析不同类型的特征,可以提高情感分析的综合性。
4.针对情感分析的结果,可以采取个性化回复、情感共鸣反馈等支持策略。通过根据用户情感状态给出相应的回复和反馈,可以增强用户体验,提高情感分析系统的实用性和用户满意度。在项目推进过程中,我们将制作一个能够对用户论坛的问题进行情感识别并给予情感支持的系统,优化用户在使用论坛的体验感,增加用户的满意度。本次大创项目计划参加各类大学生科技创新大赛,发表相关论文,并将继续拓展应用范围,开发实际分析工具,促进大创项目的推广与落地。
预期成果如下:
(1)参与类似挑战杯,上海市大学生计算机应用能力大赛,中国机器人与人工智能大赛,中国大学生计算机设计大赛,互联网+等大学生科技创新大赛,并在赛事中取得一定的成绩。
(2)预计发表1-2篇高水平学术论文。
(3)将以用户实际体验为导向,展开进一步的应用研究。
(4)计划研制适合日常生活,切合用户需求的分析工具。2024/10-2024/11
(1)小组团队成立,与导师会谈并确定大创方向为用户论坛中问题的情感支持策略研究。
(2)学习查阅相关论文、资料,了解相关的技术知识与领域背景,不定期小组内讨论。
2024/11-2025/1
(1)团队研讨,学习相关领域的理论知识及实操。
(2)团队进行初期的数据收集、文本预处理。
(3)开始进行实验,配置项目所需环境,确定关键词权重,编写相关程序。
(4)设计深度学习模型、训练模型。
(5)设计评价体系及相应的情感策略。
(6)进行初次实验性部署,发现不足,进一步优化算法、模型、数据集的处理。
2025/1-2025/5
(1)论坛数据的情感识别复现、完善,将程序运用到实际场景中,获取实验数据。
(2)以阶段性成果参加比赛,撰写部分论文。
2025/5-2025/7
(1)对于初次应用结果进行分析评估,进行系统优化。
(2)用新的数据库测验功能;用新数据集测验算法功能。进行适当的修改完善。
(3)完善论文。
2025/8-2025/10
(1)完成最终研究产品。
(2)最终部署测试,并确定其在实际场景的实用价值。
(3)以成果参加比赛。
(4)撰写部分论文。
2025/11-2026/01
(1)大创结题,撰写结题报告。
(2)参加结题答辩。
(3)完成论文撰写。
(4)参加创新创业类比赛。
(5)专利、软著申请。
团队中的两名同学曾获得校优秀奖学金。团队成员具备着较强的组织、协调和管理能力,他们能够有效地分工合作,协调资源,以及管理项目进展,确保项目的顺利进行。同时,团队成员对情感分析领域充满浓厚的兴趣和热情,他们乐于探索新技术,挑战复杂问题,具有持续学习和创新的精神。
在专业技能方面,团队成员具备编程能力和分析能力,能够熟练运用python、c、c++等编程语言进行开发和实践。同时还具备着自然语言处理、深度学习和情感识别算法等相关知识基础,理解情感识别技术的核心原理和方法。团队成员能够熟练运用相关技术进行研究和实践,具备数据分析能力、算法设计能力和问题解决能力,能够开展数据采集和分析工作,设计并实现情感识别算法,以及开发相应的支持策略。
科研条件:
(1)导师指导大赛经验丰富,并且有丰富的大数据分析、人工智能课题研究经验,带领队伍在近年来取得多次国家级一等奖,研究成果丰硕。
(2)AI Studio为我们提供了良好的实验环境平台。
硬件资源;
(1)计算机设备
(2)服务器
(3)GPU算力
软件资源:
(1)AI Studio创作学习平台
(2)Python开发平台
(3)数据库平台
文献资源:
(1)华东理工大学图书馆
(2)相关书籍购买| 开支科目 | 预算经费(元) | 主要用途 | 阶段下达经费计划(元) | |
|---|---|---|---|---|
| 前半阶段 | 后半阶段 | |||
| 预算经费总额 | 10000.00 | 服务器运营费、信息费、资料费、论文版面费、软件及其他耗材、其他费用 | 5250.00 | 4750.00 |
| 1. 业务费 | 8000.00 | 无 | 4250.00 | 3750.00 |
| (1)计算、分析、测试费 | 3000.00 | 租赁网站所需的服务器需要的费用 | 3000.00 | 0.00 |
| (2)能源动力费 | 0.00 | 无 | 0.00 | 0.00 |
| (3)会议、差旅费 | 1000.00 | 举行会议和实地调研费 | 500.00 | 500.00 |
| (4)文献检索费 | 1500.00 | 购买书籍、订阅期刊和网络信息费、资料打印、复印等 | 750.00 | 750.00 |
| (5)论文出版费 | 2500.00 | 发表论文 | 0.00 | 2500.00 |
| 2. 仪器设备购置费 | 0.00 | 无 | 0.00 | 0.00 |
| 3. 实验装置试制费 | 0.00 | 无 | 0.00 | 0.00 |
| 4. 材料费 | 2000.00 | 购买系统开发所需软件及其他耗材 | 1000.00 | 1000.00 |