选题来源

缺血性脑卒中是全球范围内导致死亡和致残的主要原因之一，特别是在中国，随着人口老龄化和不健康生活方式的普及，缺血性脑卒中的发病率正迅速上升。数据显示，过去20年间，我国缺血性脑卒中每年以8.7%的速度增加，其中78%的脑卒中病例属于缺血性类型。与此同时，脑卒中的发病年龄也在逐渐年轻化，这意味着更多的工作年龄人口将面临失能甚至死亡的风险。因此，如何及时、准确地预测缺血性脑卒中的发病风险和预后情况，成为医疗领域亟需解决的课题。随着MRI影像技术的广泛应用，结合临床信息与现代数据分析的人工智能方法在医学辅助诊断中发挥了巨大的作用。其中基于影像和临床数据的脑梗预后预测，成为这一领域的一个创新方向。本课题来源于实际科研项目，由同济医学批准的一项回顾性研究，该研究旨在利用MRI影像信息和病人临床信息进行缺血性脑梗的预后预测。

研究意义

1. 提高预后预测准确性：目前针对缺血性脑卒中的治疗和康复方案，往往基于医生的经验以及常规的影像和生物标志物，存在一定的局限性。通过改进基于MRI图像和临床信息的识别算法，可以提高对脑梗死病变区域的检测精度和对疾病发展的预测准确度。结合人工智能、深度学习等技术，能够从影像和临床数据中挖掘出更多隐藏的特征，帮助医生更加精准地判断患者的病情进展。

2. 个性化治疗方案：不同患者的疾病发展过程具有高度的个体差异性，传统的治疗模式较为固定，难以满足患者个性化需求。通过该技术，可以预测不同患者的预后情况，进而定制个性化治疗方案。例如，算法可以帮助判断哪些患者可能在短期内发生复发，或哪些患者更适合某种特定的治疗方式，从而提高治疗效果，缩短康复周期。

3. 减轻医疗负担：通过更早期的准确预测，可以在病情恶化之前采取干预措施，减少致残和死亡风险。这不仅能够提升患者的生活质量，也能显著降低长期护理和康复治疗的需求，从而减轻家庭和社会的经济负担。

本研究研究旨在基于MRI影像与临床数据对脑梗病人进行预后预测，重点研究如何通过卷积神经网络（CNN）等深度学习算法从MRI影像中提取特征并做病灶分割，然后结合患者的临床数据，如年龄、性别、既往病史、血压、糖尿病史等，进行多模态数据分析，并预测患者的预后情况（如病情恶化、康复速度、复发风险等），并开发一个可以自动生成诊断报告和预测报告的系统供临床使用。

研究内容1. 开发自动化的MRI图像分割算法，重点对脑梗死的病灶区域进行精确的分隔与识别。研究如何通过深度学习的图像分割技术，提高对复杂脑部结构及不规则病灶的识别速度与精度，实现自动化分析。

在医学图像分割中，融合不同尺度的特征是改善分割性能的重要方法。低层特征具有更高的分辨率，包含更多位置和细节信息，但是由于经过的卷积操作更少，其语义较低，噪声较多。高层特征具有较强的语义信息，但分辨率很低，对细节的感知能力较差。如何有效地将两者结合起来是改善分割模型的关键。^【1】缺血脑卒中区域通常是通过病灶区域与邻近区域正常组织之间的像素值差异来进行确定的，但是由于脑部病变模糊了周围卒中病灶的边界，因此很难区分。需要设计出既能够学习像素之间联系的模型，来改善分割效果。医学影像中病灶问题复杂，分割目标形态差异大。患者之间存在体型差异，且病变的大小、形状和位置可能存在巨大差异。^【1】

传统分割方法：传统医学图像分割方法通常基于数学知识表示，无需大量带有标签的数据参与训练，易于与临床医生的解剖学知识以及经验相结合，如可以通过医生提供的病灶信息合理地确定分割阈值和初始轮廓等。然而，这类方法对人工的依赖性较强。如阈值分割方法效率高，但阈值的设定往往过于经验化；区域生长、聚类等分割方法虽然结合 了像素的邻域信息，计算量相对较小，但对初始种子点位置的选择、分割目标与背景 的区分以及如何结合医生的先验知识等问题均难度较大，且容易出现欠分割和过分割问题^【3】

基于深度学习的分割方法：相比传统分割方法，基于深度学习的分割方法有着强特征提取能力，以及自学习特征的优点。2015年，Ronneberger等人提出U-Net模型用于医学影像分割任务，利用跳跃连接融合不同阶段特征图，以提高图像分割准确率。U-Net由编码器收缩路径和解码器扩展路径组成。编码器用于提取图像最主要特征，它的收缩路径由多个卷积操作组成，并使用降采样层来最小化图像的尺寸和提取上下文信息。利用上采样层精确定位像素，恢复图像，在小目标分割中取得了巨大成功。Chen等人提出了一种由两个 CNN 组成的框架，对该框架识别到的病变进行评估，消除假阳性，来自动分割DWI中的卒中损伤；Clèrigues等人提出了一种基于U-Net架构的非对称CNN的三维残差深度学习方法，将U-Net网络与残差网络进行结合；Hui等人针对3D-CNN网络计算量大、训练数据不足等问题，提出了一种基于U-Net的分区叠加预测融合方法，实现了三维卒中病灶的精确分割。

然而，因为分割目标为脑卒中病灶而背景为整个大脑切片图，所以基于深度学习的分割方法在训练时模型就会被像素较多的背景类影响，降低网络的有效性，泛化能力有所欠缺。针对医学数据的深度学习模型算法仍有着巨大的研究潜力。

研究内容2. 临床信息与影像数据的多模态融合技术：探索如何将患者的临床数据（如血压、血糖、血脂、年龄、性别等）与MRI影像数据相结合，利用机器学习和数据融合算法，挖掘数据之间的潜在关联。通过多模态融合技术，增强模型的预测能力和准确性。

步骤 1：MRI 图像特征提取

将 MRI 图像输入一个卷积神经网络（CNN）结构，经过多个卷积层和池化层处理。通过多次采样（DownSample）操作，逐步提取图像的特征，并在各层获得不同尺度的信息。在后续层，图像特征通过上采样（UpSample）进行特征重构，同时利用跳跃连接（SkipConnection）保留每个阶段的重要特征，逐步形成多层次的图像特征。

步骤 2：临床数据嵌入处理

临床数据（如吸烟、饮酒和糖尿病等信息）以结构化的表格形式输入。使用嵌入（Embedding）层对离散的临床数据进行编码，使其转换为适合网络处理的连续特征表示。经过线性层变换后，生成最终的临床特征向量，以便与图像特征进行融合。

步骤 3：多层次特征融合（Multi-level Feature Fusion, MFF）

将提取到的多层次图像特征经过特征提取模块（标记为 DR）进一步处理。使用拼接（Concatenate）操作，将所有层次的图像特征组合成一个综合的多层次特征。通过线性变换将多层次图像特征与临床特征整合，形成一个初步融合的多模态特征。

步骤 4：多模态注意力机制（Multi-Modal Attention, MMA）

将多层次图像特征与临床特征输入多模态注意力机制模块。注意力模块首先将多模态特征输入 Softmax 层生成权重，然后与初步融合的多模态特征进行逐元素乘法（Element-wise product），生成加权后的多模态特征。经过这一注意力机制后，最终得到的多模态特征会进一步聚焦于重要信息，有助于模型提升预测效果。

步骤 5：预测结果输出

将多模态特征通过线性变换处理，生成最终的预测结果。该结果可能以多个分类概率或连续值的形式输出，如图中显示的两个概率值（0.8 和 0.2）。

步骤 6：损失计算与优化

在模型的训练过程中，通过生成的掩码图像（mask），计算分割损失（lossseg）和分类损失（losscls）。总损失为分割损失与分类损失的加权和（losstotal=loss_seg+loss_cls），用于模型参数的优化。

研究内容3. 开发一个简洁、快捷、便于医生操作的软件平台。重点研究如何设计友好的用户界面和高效的工作流程，使医生能够迅速上传数据、获得诊断结果，并支持与医院电子病历系统的无缝对接。

   在模型和算法研究的基础上，开发一个简洁易用的软件平台。该平台采用前后端分离模式，前端基于Vue框架开发，设计简洁、友好的用户界面以及方便、快捷的交互方式，便于医生将患者数据上传，再通过API接口，调用后端程序，对患者数据进行图像处理和预后分析，并将预测结果返回前端生成诊断报告，为医生提供决策支持。同时平台支持电子病历系统（EMR）对接，方便数据的自动获取和结果输出。

Vue 框架的开发工具：

Vue 框架的开发工具种类繁多，它们有助于开发者更高效地构建、调试和优化 Vue.js 应用。以下是一些常用的 Vue.js 开发工具。

Vue CLI：用于快速搭建 Vue.js 项目。提供丰富的插件和预设，快速初始化项目，集成了热重载、linting、测试等功能。

Vuex：Vue.js 的状态管理库，用于在 Vue 组件之间共享状态。它提供了集中式的存储和严格的规则，确保状态以一种可预测的方式发生变化。

Quasar：高效的 Vue.js 开发框架，提供丰富的组件和插件，快速构建响应式应用。Vue 框架具有易用、灵活、高效和组件库丰富等优点，Vue 学习曲线平缓，api 简洁；可将 Vue 嵌入现成的服务端框架丰富交互系统，核心库及其生态系统也可以满足各式需求。此外，还有很多社区，论坛和组件库供用户查询。

基于 Vue 框架前端架构设计：Vue.js 主要用于解决现代 Web 应用开发中遇到的问题，如数据与界面之间的同步、组件化架构设计、性能优化以及前后端分离开发的需求，是构建高性能、可维护性强且具有良好用户体验的 Web 应用的理想工具。基于 Vue 框架的前端架构设计致力于构建高效、可维护且友好的界面。通过 Vue 的组件化开发模式，能将复杂的界面拆分为独立、可复用的组件，从而提高开发效率和代码的可维护性。同时，利用 Vue 的数据驱动视图特性，能实现数据的实时更新和视图的自动渲染，提升用户体验。此外，还应注重前端架构的扩展性和可定制性，以便在未来能够轻松应对业务变化和技术升级。^[1]

Restful API：

Restful，称为“表述性状态转移”，是一种基于 Http 协议，用于系统模块之间相互调用的接口协议。Restful API 将对外开放的服务表达成 Web 资源，每个 Web 资源都通过 Url 表达其调用地址。客户端通过 Url 发起 Http 请求对 Web 资源进行 get、post、put、delete 等操作，Restful API 允许 web 服务的设计者根据需求实现四种操作的业务逻辑。^[2]

在应用开发阶段，前端项目以 WebStorm 作为集成开发环境，以 NodeJS、NPM、Webpack为工具部署 Web 服务，辅助开发人员调试 Web 应用：（1）Vue 应用程序的任何修改均能实时部署到 Web 服务中，该 Web 服务具备反向代理的功能，能够将基于 AJAX 的数据处理请求转发到后端服务器。（2）基于 NodeJS 实现后端 Web 的 Mock，模拟后端响应 HTTP 请求，返回 JSON 数据，以达到并行开发的目的。值得注意的是，基于 NodeJS、NPM、Webpack 部署的 Web 服务并未经过生产大规模验证，因此不能用于生产环境部署。

在生产部署和运营阶段，Vue 开发环境通过编译、打包命令交付静态 HTML、JavaScript、CSS 文件，部署到 nginx 或者 apache 服务器中即可完成前端应用的部署。nginx 或者 apache需要配置针对后端 Web 服务的反向代理，用于将 AJAX 数据处理请求转发到后端 Web 服务器。

Vue 前端项目开发、部署、运营不关注后端项目采用何种技术体系，只要求后端按照接口协议提供 restful 风格的 API。[2]

研究的重点和难点

多模态互补性：不同模态（如CT、MRI、PET等）在成像上各有优势，例如CT对骨骼成像清晰，而MRI则适合软组织成像。多模态融合的核心是如何将这些不同模态的优点互补，以生成包含更全面信息的融合图像。

纹理与边缘信息保留：医学图像的病灶区域常具有丰富的纹理和边缘信息。多模态融合中，难点在于同时保留这些细节，确保融合图像的病灶部位在诊断中具备清晰度和准确度。

语义一致性与冲突处理：不同模态的图像在病灶特征表现上可能存在冲突。为解决这一问题，融合方法需具备语义一致性，使图像语义在空间和亮度映射上保持一致。

计算复杂度与融合效率：深度学习模型的计算复杂度较高，训练时间长，如何优化网络结构、提升效率成为一大难题。

本研究旨在基于脑梗病灶分割的结果对脑梗病人进行ASPECTS评分，并结合病人影像信息和临床信息进行联合预后预测，因此本研究主要涉及ASPECTS 评分和多模态融合以及相应的应用软件方面的内容，因此本研究从以下三个方面进行国内外研究现状总结。

 ASPECTS 评分的研究现状：

传统人工评估

   - 现状：人工评估是ASPECTS评分的早期标准方法，广泛用于急性缺血性卒中（AIS）的早期影像分析。医生通过肉眼分析非对比CT（NCCT）影像来判断缺血区域。这种方法在国内外广泛应用，主要依赖于医生的临床经验和判断力。

   - 局限性：人工评估的结果一致性较差，不同医生之间的评分差异显著，尤其在早期AIS中，由于病灶区域表现模糊，主观误差较大。此外，评分结果受图像扫描质量的影响，可能影响诊断的准确性。

     基于传统机器学习的计算机辅助方法

   - 现状：随着机器学习的发展，传统算法（如灰度共生矩阵GLCM、支持向量机SVM等）逐渐应用于AIS影像分析中。这些方法在国际研究中被用来自动分割缺血病灶区域和提取脑区特征信息，以辅助医生评分。

   - 优势：机器学习方法能够通过大数据训练模型，从NCCT和MRI影像中提取关键病灶特征，减少人工误差，提高了评分效率和一致性。

   - 局限性：该方法依赖预定义的特征和手动分割感兴趣区域（ROI），且对单一模态的影像表现出一定的局限性，难以涵盖多模态影像的特征。在面对复杂病例时，传统机器学习的准确性有所下降。

 基于深度学习的自动化评估方法

   - 现状：深度学习技术，特别是卷积神经网络（CNN），在AIS评分领域得到了广泛应用。此类方法可直接从影像数据中自动提取高级特征信息，并实现ASPECTS的自动评分。在国外，深度学习技术已逐步用于实际临床应用，国内研究也在加速这一领域的探索。

   - 优势：深度学习具有端到端的优势，能够高效处理大规模影像数据，从而显著提高评分的速度和一致性。此外，该方法不需要人为设定特征，因而具有较好的泛化能力。

   - 局限性：深度学习模型对大量数据的依赖导致其在数据不足的情况下易产生过拟合。同时，深度学习的“黑箱性”使得医生难以解释其评分依据，降低了其临床可解释性。

多模态影像结合的方法

   - 现状：多模态影像技术将NCCT、MRI、DWI等多种影像结合使用，以提高ASPECTS评分的准确性和全面性。国际上已有研究将多模态影像与ASPECTS评分结合，以便更全面地评估缺血性损伤。国内研究也逐渐探索多模态影像在AIS诊断中的作用。

   - 优势：多模态影像技术能够提供更丰富的病灶信息，显著提高评分准确性和诊断效果，有助于解决单一模态下信息不足的问题。

   - 局限性：多模态影像的采集和处理成本较高，对设备和技术的要求较大，限制了其在基层医疗机构中的普及应用。

计算机辅助评分软件的应用

   - 现状：已有一些成熟的计算机辅助评分软件，如e-ASPECTS和RAPID ASPECTS被用于临床。e-ASPECTS可以在NCCT影像上进行自动化评分，而RAPID ASPECTS则通过三维影像分析提高评分的一致性，且均已获得专业认证，并在国外多个医疗机构中被应用。

   - 优势：计算机辅助评分软件能快速、标准化地生成评分，帮助医生在急性期快速判断AIS患者的病情。例如，RAPID ASPECTS能自动分割脑区，减少人工评分时间，提高诊断效率。

   - 局限性：这些软件对影像质量和分辨率要求较高，基层医院的硬件条件可能难以满足。此外，辅助软件在评分特殊病例时难以灵活应对，需进一步优化其适应性。

总之，国内外在ASPECTS获取方法上不断探索计算机辅助与深度学习相结合的新途径，以提高评分效率和准确性，并逐步实现评分的智能化。

有效利用多级图像特征。通过降维和融合操作从编码器的多级特征中提取更丰富的病变信息。医学图像特征对于预测疾病具有重要价值，从U型网络编码器中可以得到多级图像特征。这些特征不仅封装了病变识别所必需的语义信息，还包括病变形态的细节，有利于模型后续预测病情的严重程度。多级特征融合模块降维并融合这些特征，以捕捉病变的低维方面，并用直接的病变相关信息补充临床特征。

有效利用多模态信息。将临床特征与图像特征相结合。该模块利用模态注意机制进行多模态融合，使病变信息与病史等临床数据相结合，实现优势互补。在融合过程中，模块根据不同特征对卒中严重程度的影响赋予不同的权重，使得模块生成的注意权重能够有效控制融合后各模态不同维度特征之间的平衡，提高预测的准确率。

技术路线：

1. MRI图像特征提取：通过卷积神经网络（CNN）从MRI图像中提取多层次的特征。图像经过多次降采样和上采样操作，并利用跳跃连接（Skip Connection）来保留每个阶段的重要特征，最终形成多层次的图像特征。这一步骤的目标是获取从低层到高层的特征信息，以便捕捉图像中的细节和语义信息。
2. 临床数据的嵌入处理：临床数据（如吸烟、饮酒、糖尿病等健康信息）被结构化为表格形式，并经过嵌入层处理，使其转换为适合深度学习网络处理的连续特征表示。然后，经过线性层变换生成最终的临床特征向量，以便与图像特征进行融合。
3. 多层次特征融合（Multi-level Feature Fusion, MFF）：将提取的多层次图像特征与临床特征进行融合。通过拼接操作，将各层次图像特征组合成一个综合的多层次特征，再通过线性变换将图像特征与临床特征整合，从而形成初步的多模态特征。
4. 多模态注意力机制（Multi-Modal Attention, MMA）：使用多模态注意力机制优化多模态特征的权重分配。首先将多模态特征输入Softmax层生成权重，然后进行逐元素乘法，生成加权后的多模态特征。这一过程聚焦于重要的信息，有助于提升模型的预测性能。
5. 预测结果输出：经过多模态特征的融合和优化后，使用线性变换生成最终的预测结果。输出结果可以是多个分类概率或连续值，用于反映患者的预后情况（例如病情恶化风险、康复速度、复发可能性等）。
6. 损失计算与优化：在训练过程中，通过生成的掩码图像计算分割损失和分类损失。将分割损失和分类损失的加权和作为总损失，用于优化模型的参数。
7. 软件平台的开发：基于Vue框架进行前端开发，设计简洁、友好的用户界面，使医生能够快速上传数据并获取诊断结果。后端通过API接口调用图像处理和预后分析程序，并将结果返回前端，生成诊断报告。同时，平台支持与医院电子病历系统（EMR）的无缝对接，方便数据自动获取和结果输出。

拟解决的问题

1. 解决数据图像对接精度问题：开发自动化的MRI图像分割算法，重点对脑梗死的病灶区域进行精确的分隔与识别。研究如何通过深度学习的图像分割技术，提高对复杂脑部结构及不规则病灶的识别速度与精度，实现自动化分析。

2. 解决多模态数据结合分析问题：临床信息与影像数据的多模态融合技术：探索如何将患者的临床数据（如血压、血糖、血脂、年龄、性别等）与MRI影像数据相结合，利用机器学习和数据融合算法，挖掘数据之间的潜在关联。通过多模态融合技术，增强模型的预测能力和准确性

3. 解决软件高效化，简洁化为题：开发一个简洁、快捷、便于医生操作的软件平台。重点研究如何设计友好的用户界面和高效的工作流程，使医生能够迅速上传数据、获得诊断结果，并支持与医院电子病历系统的无缝对接。

    预期成果：

        发表论文1篇

        形成专利1件

        项目总结报告1份

本项目拟在1年半内完成，总体安排与进度如下：

(1)  2024年10月～2024年12月：查阅和收集有关资料，了解相关医学背景，分析现有脑梗医学判断方法的弊端和可优化之处，分析人工智能技术对脑梗的影像的智能分析的可行性；准备实验设备和平台，建立初步的算法和实验方案。

(2)  2025年01月～2025年06月：深入研究图像分割和识别基于深度学习的方法，重点研究卷积神经网络结构，测试各种图像分割模型的优缺点，设计基于深度学习的图像识别和分割模型，并进行实验验证。

(3)  2025年07月～2025年09月：深入研究图像识别，建立基于人工智能的ASPECT评分系统，研究数据集中各类模型的识别率和识别的准确率，保证模型的准确性。

(4)  2025年10月～2025年12月：阶段性总结和整理。对提出的图形分割和识别模型进行梳理，进一步完善实验设计，实施实验的同时收集并整理实验结果，做出相应的总结，撰写相关专利和论文。

(5)  2026年01月～2026年03月：研究已跑出的数据集，进一步补充实验，对数据结果与预期比较，进行进一步的优化。收集并整理最终的实验结果，撰写相关论文。

(6)  2026年04月～2026年06月：对项目中的方案从理论到实验进行全面梳理和总结，书写相关文档，整理模型的源码，保证模型的可复现性，准备结题报告。