| 序号 | 学生 | 所属学院 | 专业 | 年级 | 项目中的分工 | 成员类型 |
|---|---|---|---|---|---|---|
|
|
齐宇杰 | 信息科学与工程学院 | 人工智能 | 2022 | 数据收集,清洗与标注 |
|
|
|
李钰林 | 信息科学与工程学院 | 智能科学与技术 | 2022 | 模型设计与训练 |
|
|
|
刘妮妮 | 信息科学与工程学院 | 0639/计算机科学与技术 | 2023 | 系统开发与集成 |
|
|
|
朱俊杰 | 信息科学与工程学院 | 智能与机器人大类 | 2024 | 系统测试与优化 |
|
| 序号 | 教师姓名 | 教师账号 | 所属学院 | 是否企业导师 | 教师类型 |
|---|---|---|---|---|---|
|
|
李中美 | 09154 | 信息科学与工程学院 | 否 |
|
|
|
袁玉波 | 08050 | 信息科学与工程学院 | 否 |
|
随着医疗影像技术的不断发展,肺部结节的检测与分析在临床医学领域愈发重要。在当前诸多医学研究聚焦于利用先进技术提升疾病诊断精准度的大环境下,本项目基于已有的医学影像分析相关研究基础,尝试引入大模型技术,对肺部结节进行更深入、全面且精准的分析与研究。旨在通过这一创新举措,为肺部结节的早期发现、诊断及后续治疗方案的制定提供更有力的支持,同时也为团队成员在医学与人工智能交叉领域的研究探索提供实践平台,培养其跨学科研究能力和创新思维。
1. 肺部结节影像数据收集和处理:
主要研究内容:收集涵盖不同年龄段、性别、病情阶段等多种因素的肺部结节患者的影像数据,包括CT、MRI等不同模态的影像资料,涵盖不同品牌、型号的成像设备及多种扫描参数设置,以此确保数据集的广泛代表性和多样性,同时对收集到的数据进行整理、分类和标注,标注内容涉及结节的位置、大小、形态、良/恶性等关键信息。条件允许的情况下可以再收集吸烟史、家族病史等影响因素,这些信息为后续的分层分析和个性化风险评估提供重要的数据支持。
2. 基于大模型的特征学习和提取:
主要研究内容:利用大模型强大的自动学习能力,对肺部结节影像数据进行特征学习和提取,挖掘出影像中深层次的、人眼难以直接察觉的特征,如结节内部的纹理细微变化、与周围组织的关系特征等。
3. 肺部结节的分类与诊断建模:
主要研究内容:基于大模型提取的特征,构建用于肺部结节分类(良性/恶性)和诊断的模型,尝试不同的建模方法,如基于深度学习的卷积神经网络(CNN)与大模型特征提取相结合的混合模型,或者直接利用大模型进行端到端的分类诊断建模。
4. 模型评估和优化:
主要研究内容:全面评估所构建模型的性能,包括对肺部结节分类的准确性、召回率、F1值等指标的评估,以及对模型在不同数据集(训练集、验证集、测试集)上的稳定性和鲁棒性的考察。
5. 多模态数据融合与综合分析:
主要研究内容:探索将肺部结节的影像数据与其他模态数据,如患者的病史、基因检测结果、临床症状等进行融合,构建综合分析模型,以更全面、准确地对肺部结节进行评估和诊断。
6. 临床应用与验证:
主要研究内容:将所构建的模型应用于实际临床场景中,与医生的临床诊断结果进行对比验证,考察模型在实际临床工作中的实用性、准确性和辅助诊断价值。
在国内外,肺部结节的研究一直是医学影像领域的热点之一。众多科研团队和医疗机构都致力于通过各种技术手段提高肺部结节检测与分析的准确性和效率。目前的研究现状呈现出多技术融合的特点,涉及传统图像处理方法、机器学习以及近年来兴起的深度学习等技术。 在临床应用方面,许多医院已经将计算机辅助诊断系统(CAD)部分引入到肺部结节的诊断流程中,但通过传统图像处理方法如,图像滤波、边缘检测、形态学处理等技术,对肺部CT影像进行预处理,以突出结节区域的方法对于复杂形态和特征不明显的结节,往往难以准确识别和分析。
1. 大模型与医学影像的深度融合创新应用:
将先进的大模型技术引入肺部结节的分析领域,突破传统医学影像分析方法的局限。以往的肺部结节分析多依赖于人工特征提取和相对简单的机器学习模型,而本项目利用大模型强大的自动学习能力,直接从肺部结节影像数据中自动挖掘深层次、复杂且具有高判别性的特征。这不仅能大大减轻人工特征提取的工作量,还能发现一些以往难以察觉的细微特征,为肺部结节的准确诊断和分类提供更有力的依据,实现了人工智能大模型与医学影像分析的深度融合创新应用。
2. 针对肺部结节的大模型定制化微调:
考虑到肺部结节影像数据的特殊性以及诊断任务的精准性要求,项目团队会对通用大模型进行针对性的定制化微调。通过收集大量肺部结节的标注影像数据,利用这些数据对大模型的参数进行精细调整,使其更好地适应肺部结节的分析场景。这种定制化微调能够让大模型更准确地捕捉肺部结节在影像中的特征模式,提高对不同类型结节(如良性与恶性)的区分能力,相较于直接使用通用大模型,在肺部结节诊断的准确性和特异性上有显著提升,是在模型应用层面的重要创新点。
3. 多模态数据与大模型协同分析机制:
创新性地建立了多模态数据与大模型协同分析的机制。除了肺部结节的影像数据外,还将患者的病史、基因检测结果、临床症状等多模态数据纳入分析范畴。通过设计专门的数据融合策略,先将不同模态数据进行预处理和特征提取,然后以合适的方式将这些特征与大模型学习到的影像特征进行融合,使大模型能够综合多方面信息进行肺部结节的全面评估。这种协同分析机制充分利用了各模态数据的优势,能够克服单一影像数据可能存在的信息不足问题,为更精准地判断肺部结节的性质和病情发展趋势提供了全新的思路和方法。
4. 可解释性大模型在肺部结节诊断中的探索:
针对深度学习大模型在医学领域应用中“黑箱”特性导致医生难以理解其决策过程的难题,本项目积极探索可解释性大模型在肺部结节诊断中的应用。采用诸如特征重要性分析、模型可视化等可解释性人工智能(XAI)技术,尝试打开大模型的“黑箱”,让医生能够清楚地了解大模型是基于哪些影像特征、多模态数据特征以及它们之间的何种关系做出的肺部结节诊断结论。这不仅有助于增强医生对模型诊断结果的信任度,还能促进医生与模型的协同工作,实现人工智能技术在医学诊断领域更有效的应用,是在提升模型临床实用性方面的创新突破。
5. 基于大模型的肺部结节动态监测与预警创新:
利用大模型的实时学习和预测能力,建立肺部结节的动态监测与预警系统。通过持续收集患者的肺部结节影像数据以及相关多模态数据,大模型能够实时分析结节的变化情况,如大小、形态、密度等方面的动态变化,并结合临床数据预测结节的发展趋势。一旦发现结节有恶变倾向或出现其他异常变化,系统能够及时发出预警信息给医生和患者,以便尽早采取相应的干预措施。这种基于大模型的动态监测与预警创新机制,为肺部结节患者的病情管理和治疗提供了更主动、更及时的支持,改变了以往相对静态的诊断和监测模式。1. 肺部结节影像数据收集和处理:
研究思路和方法:与多家医疗机构建立合作关系,通过其影像存储与传输系统(PACS)等获取影像数据。利用专业的数据处理软件,如SimpleITK等,对不同格式的数据进行格式转换、归一化等处理,使其标准化。组织专业的医生团队按照统一的标注规范进行数据标注,并通过多次审核确保标注质量。
2. 基于大模型的特征学习和提取:
研究思路和方法:考虑到肺部结节检测任务的特点,计划采用3D卷积神经网络(3D CNN)、残差网络(ResNet)、U-Net等先进的网络结构,这些模型能够有效提取空间特征,适用于三维医学影像分析。设计多尺度特征融合机制,使得模型能够同时捕捉到结节的局部细节和整体结构,提高检测精度。针对肺部结节检测中的类别不平衡问题,设计合理的损失函数,如加权交叉熵损失,以改善模型对小样本类别的识别能力。
3. 肺部结节的分类与诊断建模:
研究思路和方法:尝试多种建模方式,如对CNN进行改进,将大模型提取的特征作为CNN的输入层或中间层进行融合建模;或者对大模型进行进一步的微调,使其直接输出分类诊断结果。在模型训练过程中,通过交叉验证等技术评估模型性能,调整模型参数以达到最佳拟合和泛化效果。对于模型可解释性问题,探索使用可解释性人工智能(XAI)技术,如特征重要性分析、模型可视化等方法,揭示模型决策过程。
4. 模型评估和优化:
研究思路和方法:采用多种评估指标相结合的方式,如同时考察分类准确性、召回率、F1值以及ROC曲线下面积(AUC)等指标。通过交叉验证、留一法等技术将数据划分为不同子集进行训练和评估,以充分检验模型的泛化能力。针对过拟合或欠拟合问题,根据评估结果调整模型架构、参数,如增加或减少模型层数、调整学习率等,同时采用模型集成技术,如将多个不同模型的预测结果进行融合,提高整体性能。
5. 多模态数据融合与综合分析:
研究思路和方法:对于数据融合方法,尝试基于特征级融合、决策级融合等不同层次的融合策略。例如,在特征级融合中,先将不同模态数据分别进行特征提取,然后将提取的特征进行拼接或其他数学运算后作为新的输入送入模型;在决策级融合中,先分别利用不同模态数据构建独立的模型,然后将各个模型的预测结果进行融合处理。在模型处理方面,可采用更高效的深度学习架构或对现有模型进行优化,以应对融合后的数据处理挑战。
6. 临床应用与验证:
研究思路和方法:选择一定数量的实际临床病例,在医生进行常规诊断的同时,运用所构建的模型进行辅助诊断。收集模型诊断结果与医生临床诊断结果进行对比分析,通过统计分析方法,如卡方检验、Kappa系数计算等,评估模型与医生诊断的一致性。根据临床应用反馈,对模型进行进一步的优化和调整,使其更好地适应临床实际需求。
预期效果:互联网+全国大学生创新创业大赛获奖或者挑战杯创新创业大赛获奖。
成果形式:开发出一套完整的基于大模型的肺部结节实时分析平台,通过ChatGPT给出AI分析的、并能够及时患者情况的小程序。
1. 阶段一:准备阶段(2周)
2024年11月15日至11月29日:
查阅大量与肺部结节相关的医学文献,包括但不限于肺部结节的发病机制、影像学特征、诊断标准、治疗方法等方面的资料。同时,深入研究大模型的相关技术文档,了解各类大模型的架构、原理、优势及应用案例,尤其是在医学影像分析领域的应用情况。
准备项目所需的硬件设备,如高性能计算机用于数据处理和模型训练,确保其具备足够的计算能力和存储空间。搭建适合的软件环境,安装并配置相关的深度学习框架(如PyTorch、TensorFlow等)、医学影像处理库(如SimpleITK等)以及数据处理和分析工具。
2. 阶段二:项目研究方案设计(3周)
2024年11月30日至12月20日:
基于对肺部结节和大模型的前期了解,结合项目目标,确定大模型在肺部结节分析中的具体应用方式,例如是采用预训练后微调的策略还是基于大模型进行特征提取与其他模型融合等。明确需要采集的肺部结节数据类型及来源,制定详细的数据采集计划,包括与哪些医疗机构合作获取影像数据、如何确保数据的质量和标注的准确性等内容。
设计项目的整体研究框架,规划出各个环节的主要任务、预期输出以及相互之间的逻辑关系,确定模型评估的主要指标(如准确率、召回率、F1值等)和验证方法(如交叉验证、留一法等)。
3. 阶段三:数据采集和预处理(4周)
2024年12月21日至2025年1月17日:
按照数据采集计划,与多家医疗机构建立紧密合作,通过其影像存储与传输系统(PACS)等渠道收集肺部结节患者的影像数据(如CT、MRI等),同时收集患者的相关临床信息(如病史、基因检测结果等)作为辅助数据。
对采集到的影像数据进行预处理,利用SimpleITK等工具进行格式统一、归一化处理,去除数据中的噪声、伪影等干扰因素。组织专业的医生团队对肺部结节进行精准标注,标注内容涵盖结节的位置、大小、形态、良恶性等关键信息,并对标注结果进行多次审核以确保质量。
对临床信息数据进行清洗,处理缺失值、异常值等问题,将其整理成适合后续分析和模型训练的格式。
4. 阶段四:大模型应用与特征提取(8周)
2025年1月18日至3月14日:
根据项目研究方案确定的大模型应用方式,选择合适的大模型架构(如基于Transformer的医学影像专用大模型或对通用大模型进行针对性微调的版本)。
利用采集和预处理后的肺部结节影像数据以及临床信息数据对大模型进行训练(若采用预训练后微调的方式)或直接让大模型学习数据特征(若采用直接应用大模型的方式),通过调整学习率、优化算法等参数,促使大模型有效地学习到数据中的深层次特征,尤其是与肺部结节相关的特征。
对大模型提取出的特征进行分析和评估,通过可视化等手段初步判断特征的合理性和有效性,为后续的模型构建和分析提供有力支撑。
5. 阶段五:模型构建与训练(8周)
2025年3月15日至5月9日:
基于大模型提取的特征,结合项目需求,构建用于肺部结节分类(良性/恶性)、诊断以及病情预测等任务的具体模型架构。可以尝试不同的建模方式,如将大模型提取的特征与传统的深度学习模型(如卷积神经网络CNN)进行融合构建混合模型,或者直接利用大模型进行端到端的建模。
对构建好的模型进行训练,划分训练集、验证集和测试集,采用合适的训练算法(如随机梯度下降及其变种)和优化算法(如Adam等),在训练过程中不断调整模型的参数(如层数、神经元数量、连接权重等),以提高模型的拟合能力和泛化能力。
通过交叉验证、留一法等验证方法对模型的性能进行评估,观察模型在不同数据集上的表现,主要关注准确率、召回率、F1值等评估指标的变化情况,根据评估结果对模型进行进一步的调整和优化。
6. 阶段六:多模态数据融合与分析(4周)
2025年5月10日至6月6日:
对之前采集的肺部结节影像数据和临床信息数据(如病史、基因检测结果等)进行进一步的整合和处理,采用合适的多模态数据融合策略(如特征级融合、决策级融合等),将不同模态数据的特征进行有效融合。
将融合后的多模态数据输入到已训练好的模型中,再次进行分析和训练,观察模型在考虑多模态数据后的性能提升情况,重点关注模型对肺部结节的综合判断能力是否得到增强,如对结节性质判断的准确性、对病情发展趋势预测的准确性等方面。
7. 阶段七:模型评估与优化(4周)
2025年6月7日至7月4日:
全面评估经过多模态数据融合与分析后的模型性能,采用多种评估指标相结合的方式,除了准确率、召回率、F1值外,还包括ROC曲线下面积(AUC)、敏感度、特异度等指标,从不同角度衡量模型对肺部结节分析的效果。
根据评估结果,对模型进行针对性的优化。如果发现模型存在过拟合问题,可以采取增加数据量(如通过数据增强技术)、调整模型架构(如减少层数、调整神经元数量等)、更换优化算法等措施;如果发现模型存在欠拟合问题,则可增加模型的复杂度、延长训练时间等。
再次对优化后的模型进行评估,确保其在各项评估指标上都能达到较为理想的水平,满足项目对肺部结节分析的准确性和可靠性要求。
8. 阶段八:中期检查(2周)
2025年7月5日至7月18日:
整理项目前期的各项工作成果,包括数据采集情况、模型构建与训练进展、多模态数据融合效果、模型评估结果等方面的资料。
按照项目要求和中期检查的标准,撰写中期检查报告,详细阐述项目的进展情况、已完成的任务、遇到的问题及解决方案、下一步计划等内容。
参加项目的中期检查活动,向相关评审人员展示项目成果,接受评审人员的提问和建议,并根据反馈意见对项目后续工作进行调整和完善。
9. 阶段九:研制开发(临床应用辅助工具)(6周)
2025年7月19日至8月30日:
根据项目模型的输出结果和临床应用需求,研制开发用于辅助临床医生进行肺部结节诊断和病情监测的工具。例如,开发一个可视化界面,能够直观地展示肺部结节的影像特征、模型预测结果(如结节的良恶性概率、病情发展趋势等)以及相关的临床信息(如病史、基因检测结果等)。
设计工具的用户交互功能,使医生能够方便地在界面上进行操作,如查看不同患者的信息、对比不同时间点的结节情况、调整模型参数(如果有必要)等。
对研制开发的临床应用辅助工具进行测试,确保其功能的完整性和稳定性,能够在临床环境中正常运行,并且与医院的信息系统(如电子病历系统等)能够良好对接,便于医生使用。
10. 阶段十:数据统计、处理与分析(再次)(4周)
2025年8月31日至9月27日:
收集项目模型在实际应用(如在合作医疗机构进行的小规模试用)中的数据,包括模型预测结果、医生实际诊断结果、患者后续病情发展情况等方面的数据。
对收集到的数据进行统计分析,计算各项评估指标(如准确率、召回率、F1值等)在实际应用中的表现,与之前在实验室环境下的评估结果进行对比分析,观察模型在实际临床环境中的性能变化情况。
通过数据分析,找出模型在实际应用中存在的问题和不足,如是否存在对某些特殊病例判断不准确的情况、是否受到临床环境中各种因素(如数据缺失、患者个体差异等)的影响等,为后续的模型优化和项目总结提供依据。
11. 阶段十一:填写结题表(2周)
2025年9月28日至10月11日:
根据项目的实际完成情况,按照结题表的要求,逐一填写各项内容,包括项目基本信息、研究目标、研究内容、研究方法、研究成果、项目经费使用情况等方面的信息。
对填写的结题表内容进行审核,确保信息的准确性和完整性,避免出现遗漏或错误的情况。如果发现问题,及时进行修改和完善。
12. 阶段十二:撰写研究论文和总结报告(6周)
2025年10月12日至11月22日:
撰写项目研究论文,按照学术论文的规范格式,包括摘要、引言、材料与方法、结果、讨论、结论等部分,详细阐述项目的研究背景、目的、采用的大模型及相关技术、数据采集与处理、模型构建与训练、多模态数据融合、模型评估与优化等方面的内容,并展示项目的主要研究成果(如模型的性能指标、临床应用效果等)。
撰写项目总结报告,从项目整体角度出发,总结项目的实施过程、遇到的问题及解决方案、取得的成果、项目的意义和价值等内容,为项目的最终评估提供全面的信息。
对撰写的研究论文和总结报告进行修改和审核,确保语言表达准确、逻辑清晰、内容完整,符合学术规范和项目要求。
13. 阶段十三:结题答辩和成果推广(1周)
2025年11月23日至11月29日:
准备项目结题答辩的演示材料和文稿,制作PPT等演示文稿,突出项目的创新点、主要研究成果、临床应用价值等方面的内容,在文稿中详细阐述项目的研究过程、方法、成果及意义。
参加结题答辩,向评审人员展示项目成果,清晰、准确地回答评审人员的提问,展示项目的科学性、实用性和创新性。
进行成果推广与宣传,通过学术会议、医学期刊、医院内部培训等渠道,向医学界、科研界以及相关领域的专业人员宣传项目的成果,促进项目成果在临床实践中的广泛应用,提高项目的社会影响力。
1.医学影像知识:团队成员深入了解了肺部解剖学、生理学等基础医学知识,对肺部的正常结构与生理功能有清晰的认识,了解肺部 CT、MRI 等常见影像检查技术的原理、成像特点以及影像解读方法,能够准确识别肺部结节在不同影像中的表现特征,为后续基于大模型的分析工作提供准确的医学影像知识支撑。
2.大模型相关知识:成员们系统学习了大模型的基础理论,包括 Transformer 架构、预训练机制、微调技术等核心概念。熟悉常见的大模型如 GPT 系列、BERT 等的特点与应用场景,了解大模型在自然语言处理、图像识别等领域的成功案例及应用模式,为将大模型应用于肺部结节分析奠定了坚实的知识基础。
3.编程语言知识:熟练掌握多种编程语言,其中 Python 是最为精通的语言之一,能够运用 Python 进行数据处理、模型开发、训练与评估等一系列操作。此外,对 C++、Java 等语言也有一定程度的了解,这些编程语言在不同的项目环节,如优化算法实现、与底层系统交互等方面具有重要作用,保障了项目从数据到模型各个层面的高效开发与运行。4.
4.数学与统计学知识:具备扎实的数学基础,包括高等数学、线性代数、概率论与数理统计等课程知识。能够运用数学知识进行数据建模、算法设计与分析,例如利用线性代数知识处理影像数据的矩阵运算,通过概率论与数理统计知识进行数据分布分析、模型评估指标的计算等,为准确分析肺部结节提供了必要的数学工具。
5.数据分析与处理能力:团队成员能够熟练地对肺部结节相关的各类数据进行采集、整理、清洗和预处理。可以有效处理数据中的噪声、缺失值、异常值等问题,将不同来源、不同格式的数据进行标准化处理,使其满足大模型训练和分析的要求。同时,具备从海量数据中提取有价值信息的能力,通过数据挖掘技术挖掘肺部结节影像数据与临床诊断结果之间的潜在关联。
6.模型开发与训练能力:掌握大模型的开发与训练技巧,能够根据肺部结节分析的具体需求,对现有的大模型进行针对性的微调,或者自主开发适合的模型架构。熟悉模型训练过程中的参数调整、优化算法选择等关键环节,确保模型能够在有限的时间内达到较好的收敛效果,提高模型对肺部结节的检测、分类和预测准确性。
7.自主创新意识:团队成员展现出自主创新的意识和能力。他们参加了多场学术创新及竞赛活动,例如蓝桥杯编程竞赛(省三等奖)等。这表明他们对于解决问题和追求创新有浓厚的兴趣和积极的态度。(1)医学影像知识:团队成员需要深入了解肺部解剖结构、肺部CT影像的成像原理、常见肺部疾病的影像学表现等医学影像基础知识,以便准确理解和处理肺部结节相关的影像数据。
(2)大模型技术能力:掌握主流的大模型架构和原理,如Transformer架构及其变体。具备利用大模型进行预训练、微调等操作的能力,以使其能够适应肺部结节分析的任务需求。同时,要熟悉相关的深度学习框架,如PyTorch、TensorFlow等,用于模型的开发和训练。
(3)数据处理能力:能够进行肺部结节影像数据的采集、整理和清洗工作。包括处理数据中的噪声、缺失值等问题,以及对不同来源和格式的数据进行标准化处理,确保数据质量满足模型训练的要求。
(4)编程能力:熟练掌握编程语言,如Python,用于实现数据处理、模型开发、训练和评估等一系列操作。能够编写高效的代码来调用相关的库和工具,如用于医学影像处理的SimpleITK库、用于数据可视化的Matplotlib库等。
(5)前端能力:搭建小程序需要熟悉HTML、JavaScript、CSS等前端语言和框架,来进行小程序前端的运维和美化。
(6)医学专业知识协作:与医学专业人员,如放射科医生、肿瘤科医生等建立紧密的协作关系。一方面,获取专业的医学指导和准确的数据标注;另一方面,确保研究成果能够符合临床实际需求,便于在医疗实践中应用和推广。| 开支科目 | 预算经费(元) | 主要用途 | 阶段下达经费计划(元) | |
|---|---|---|---|---|
| 前半阶段 | 后半阶段 | |||
| 预算经费总额 | 0.00 | 无 | 0.00 | 0.00 |
| 1. 业务费 | 0.00 | 无 | 0.00 | 0.00 |
| (1)计算、分析、测试费 | 0.00 | 无 | 0.00 | 0.00 |
| (2)能源动力费 | 0.00 | 无 | 0.00 | 0.00 |
| (3)会议、差旅费 | 0.00 | 无 | 0.00 | 0.00 |
| (4)文献检索费 | 0.00 | 无 | 0.00 | 0.00 |
| (5)论文出版费 | 0.00 | 无 | 0.00 | 0.00 |
| 2. 仪器设备购置费 | 0.00 | 无 | 0.00 | 0.00 |
| 3. 实验装置试制费 | 0.00 | 无 | 0.00 | 0.00 |
| 4. 材料费 | 0.00 | 无 | 0.00 | 0.00 |