随着大数据时代的到来，数据的获取和利用变得愈发重要。然而，数据的隐私保护和安全性问题也随之而来，尤其是在涉及个人隐私的领域，如医疗、金融和社交网络等，如何保护数据隐私，加强数据安全性的问题迫在眉睫。联邦学习（federated learning, FL）作为一种新兴的分布式学习框架，为解决这些问题提供了创新的解决方案。例如，在医疗领域，各医院可以通过联邦学习共享经验，而无需暴露患者的个人信息。在金融行业，银行可以通过协作学习提升反欺诈模型的准确性，同时保护客户的隐私。联邦学习允许多个参与方在保护数据隐私的前提下，共同训练机器学习模型。通过在本地设备上进行计算，联邦学习避免了将敏感数据集中到一个服务器上，不仅提高了模型的性能，也加强了数据的安全性。

尽管联邦学习在隐私保护和数据安全方面具有显著优势，但大多数现有的FL方法在训练时仍使用的是单模态数据。随着边缘计算的不断发展，不同传感器和设备产生的数据具有不同模态（如触觉、视觉、听觉等）。不同模态的数据可能具有不同的分布特征、维度和类型，这种异构性使得模型训练变得复杂。因此，对于多模态联邦学习（multi-modal machine federated learning，MMFL）的研究是有必要的。

然而，目前针对MMFL的研究大多集中在提升模型性能、提高模型准确率等方面，对数据异构的研究相对较少。市面上缺乏解决异构数据缺陷问题的针对性算法，大多是基于图神经网络、整合不同模态、构建模态之间关联图的算法方式。由此可见，在现有算法上进行改进与创新，进一步加强MMFL对于异构数据缺陷的识别与应用能力，是一项十分具有尝试价值的研究课题。

因此，本研究将重点探讨“针对数据异构缺陷的多模态联邦学习”，旨在有效整合不同模态的数据，同时考虑数据的异构性，用以改善MMFL在面对不同模态、异构数据、缺陷数据的作用结果，并为实际应用提供更强的支持。本项目一方面，可以推动联邦学习的进一步发展，使其在更多实际场景中发挥作用。另一方面，这项研究能提高模型的准确性和鲁棒性，从而为用户提供更优质的服务，最终实现数据价值的最大化和隐私保护的平衡，从而为推动人工智能技术在各行业的应用做出积极贡献。

      本研究的核心内容集中在多模态联邦学习（Multi-modal Federated Learning, MMFL）领域，旨在解决多模态数据的异构性和不完整性所带来的挑战。研究将深入探讨如何通过先进的机器学习技术，特别是长短期记忆网络（Long Short-Term Memory, LSTM）和注意力机制，来提升模型对不完整多模态数据的处理能力。

本研究提出了一种新颖的数据缺陷处理模块（Data Loss Processing Module, DLPM），旨在对数据集中的缺失部分进行有效的补全。该模块首先利用LSTM对含有缺陷的原始数据进行处理，以捕捉数据的时间序列特性。随后，通过补全器（Complementor）模块，对缺失值进行预测并生成补齐后的原始数据。在此过程中，模型将预测的补齐数据与真实值进行比较，通过L2范数（即欧几里得范数）来衡量两者之间的差异，以确保补齐数据在特征上与原始数据保持一致性。

鉴于补全过程中可能产生的误差以及对模型鲁棒性的挑战，本研究进一步引入了模态数据校正模块（Modality Data Correction）。该模块综合利用其他模态的信息，生成一个综合特征值，并与对齐后的数据进行加权融合。加权融合过程中的权重系数由模型预测的数据缺陷率决定，从而实现对数据缺陷的自适应调整。

最终，通过对抗性学习机制，模型能够生成与原始特征分布相匹配的特征数据，同时能够有效地利用其他模态信息，补充当前数据可能存在的信息缺失。这一方法不仅提高了数据补全的准确性，也增强了模型对异常值和噪声的鲁棒性。

随着人工智能技术的迅速发展，MMFL作为一种新兴的学习框架，开始受到广泛关注。它允许不同的数据源在没有共享原始数据的情况下进行联合学习，尤其适用于数据隐私至关重要的领域。然而，数据异构性，即不同客户端之间数据类型、分布和质量的差异，给多模态联邦学习带来了诸多挑战。

1. 研究现状

 多模态联邦学习（MMFL）指的是在保证数据隐私的前提下，结合来自不同模态的数据（如图像、文本、语音等），通过分布式学习算法进行训练。目前，这一领域的研究主要集中在如何应对数据异构性、模态缺失、噪声干扰以及如何实现不同模态间的知识共享和整合等问题。

（1）异构性问题与解决方案

多模态数据的异构性是多模态联邦学习中的一个主要挑战。数据来自不同源且具有不同的表示形式，常见的如视觉数据、文本数据、语音数据等。各模态的分布差异、数据的质量差异以及模态之间的不平衡性，都会影响联邦学习模型的训练效果。因此，如何有效处理这些异构数据，尤其是在设备计算能力差异较大的情况下，成为了一个亟待解决的问题。Lin等在《Federated Learning on Multimodal Data: A Comprehensive Survey》这篇综述文章中做出了总结，为从事多模态联邦学习的研究人员提供了系统的指导。为了处理异构数据中的模态缺失问题，Ma等提出的SMIL模型基于贝叶斯元学习，使用特征重建网络将利用可用的模态以高效的方式生成缺失模态特征的近似值，具有灵活性和高效性，但是该模型仅关注模态的整体缺失，缺乏对每组数据的确切评估与调整。在此之上，Ma等进一步研究了异构数据环境下的多模态联邦学习，提出了一种自适应重加权机制。该机制能够动态调整各模态的影响力，从而有效提升模型性能。通过在训练过程中实时评估模态的重要性，该方法不仅增强了模型的学习能力，还改善了整体的学习效率。这一研究为多模态数据的有效整合提供了新的思路。类似的，Zheng等构建了一种名为 AutoFed的模型，通过引入伪标签模型和数据填补方法，解决了在异构感知数据下的联邦学习问题。通过增强模态间的信息共享和补充，AutoFed能够更好地适应不同模态的数据缺失和不一致性问题，提高了系统的鲁棒性和学习效率。Chen等提出了FedDAT框架，这是首个针对异构多模态（视觉-语言）FL的基础模型进行分布式微调的方法。FedDAT基于双适配器教师（Dual-Adapter Teacher, DAT）模块的框架，利用互知识蒸馏（Mutual Knowledge Distillation, MKD）技术来实现知识的有效转移。该方法通过正则化客户端本地更新，缓解了异构数据下模型训练的挑战，并实现了跨模态的知识共享。该框架不仅提高了多模态联邦学习的鲁棒性，还为基础模型的分布式微调提供了新的方法。

（2）模态融合与协作

模态间的有效融合与协作对于多模态联邦学习的成功至关重要。模态之间往往存在着相互补充的关系，因此如何通过合理的策略进行模态融合，进而实现信息的有效整合，仍是一个重要的研究方向。Gao等的研究指出，多模态数据融合仍处于早期阶段，难点在于如何建模不同模态间的相互关系和互补性。该综述进一步探讨了多模态数据融合的主要挑战，包括数据缺失、噪声干扰、模态不平衡等问题，并提出了一些应对措施，如利用对抗学习来增强模型对噪声的鲁棒性，以及通过注意力机制动态分配各模态的权重。作者指出未来的研究方向，强调了可解释性、资源优化和在实际复杂环境中的应用前景。论文为多模态数据融合领域的研究者提供了丰富的理论参考和实践指导。 Li等提出了Cross-Modal Meta Consensus（CMMC），通过元学习（Meta-Learning）策略来协调模态内和模态间的特征空间，从而促进不同模态之间的知识共享。该方法能够有效解决模态分布差异带来的初始化点冲突问题和梯度冲突问题，实现了更为顺畅的模态融合。此外，Chen等提出了FedMSplit方法，在多模态联邦学习中引入了分割网络和动态权重自适应机制，通过在不同任务和异构数据之间找到合适的平衡来优化模型的性能。该方法提升了多模态数据在复杂场景下的学习能力，但其高计算和通信负载要求也对实际应用提出了挑战。

（3）应对慢节点与计算资源的挑战

在异构系统中，不同设备的计算能力和网络连接速度差异较大，部分设备可能成为“慢节点”，影响整个系统的训练效率。这一问题尤其在大规模联邦学习环境中更为突出。为了提高训练效率，研究者们提出了一些创新方法来缓解这一问题。Chen等提出了一种基于知识蒸馏的加速方法，通过设计一个知识蒸馏框架，使得不同节点可以通过蒸馏技术从全局模型中提取重要信息，从而加速训练过程。该方法不仅能够有效应对设备异构性问题，还能在保证数据隐私和模型准确性的前提下，减少慢节点对全局训练进度的影响。

（4）领域特定应用与挑战

多模态联邦学习在许多领域具有广泛的应用潜力，尤其是在医疗、自动驾驶等高需求场景中。随着医学领域中数据来源的多样性（如医学影像、电子病历、基因数据等），传统的联邦学习方法面临着数据模态间融合问题。在关于医疗领域的多模态联邦学习研究中，Thrasher重点探讨了多模态联邦学习在医疗数据中的应用，提出了一种改进的联邦学习框架，能够有效处理医疗数据中的异构模态。Yang等针对医疗领域提出了一种新颖的模态融合策略，旨在结合医疗图像和文本数据，以提高疾病预测的准确性。在实际医疗场景中，不同模态的医疗数据可以提供互补信息，通过多模态学习能显著提高模型对复杂疾病的诊断能力。自动驾驶是另一个典型的多模态应用场景。在自动驾驶领域的研究中，AutoFed使用了面向异构感知数据的多模态联邦学习方法，通过利用伪标签和数据填补来解决不同感知模态（如视觉、雷达、激光雷达等）之间的差异，从而提高系统的感知能力和鲁棒性。

2. 研究现状总结

综上所述，现有研究在模态缺失、模态融合、快慢节点等方面作出了许多贡献，但在“数据异构的多模态联邦学习”领域，依旧面临多重挑战。首先，数据缺失是一个突出问题。由于设备异构性和环境影响，某些模态的数据可能不完整，这使得模型在训练时难以获得全面的信息，从而影响准确性和鲁棒性。其次，计算成本也是一个重要挑战。在异构数据环境下，缺失模态的客户端往往需要更多计算资源来弥补数据的不足，这与联邦学习旨在降低计算负担的目标相悖。最后，数据异构性使得不同客户端的数据难以有效整合，导致模态间的融合差异影响训练效果，增加了模型处理多模态数据的复杂性。

针对上述问题与缺陷，本项目在关于模态缺失的多模态学习的算法上作出优化，提出了Data Loss Processing Module （DLPM）的模块，通过利用新的数据补全机制，化解了不同模态中的数据缺失问题；通过建立数据矫正模块，增强了模型的准确性和鲁棒性；通过采取对抗性学习机制，实现了不同模态间的数据融合。在以上机制与模块的作用下，DLPM于“具有数据缺陷的异构数据的多模态联邦学习”领域效果显著，并减少了模型的计算成本。

随着人工智能技术的迅速发展，MMFL作为一种新兴的学习框架，开始受到广泛关注。它允许不同的数据源在没有共享原始数据的情况下进行联合学习，尤其适用于数据隐私至关重要的领域。然而，数据异构性，即不同客户端之间数据类型、分布和质量的差异，给多模态联邦学习带来了诸多挑战。

1. 基于不完全模态的动态权重学习机制

传统的多模态学习方法通常假设所有模态数据完备，在数据缺失的情况下难以保证模型的有效性。本项目提出一种基于不完全模态的动态权重学习机制，能够根据数据的完整性和质量实时调整各模态的权重，使模型在不同模态缺失的情况下依旧保持良好的准确性。通过这种机制，模型可以在数据缺陷的条件下进行有效的特征融合，增强了多模态学习的鲁棒性和适应性。

2. 利用长短期记忆网络（LSTM）进行时间序列信息提取

在多模态数据中，时间序列信息的提取是提升模型性能的重要因素。本项目设计了一个基于LSTM的模块，专注于从时间序列中提取特征，使得模型不仅可以处理静态多模态数据，还能充分捕捉动态时间信息。相比于常规的静态特征提取方法，LSTM模块能够更好地适应数据中时间相关的模式和趋势，在多模态学习中进一步提升了对动态环境的适应性。

3. 自适应多模态数据融合方法

现有的多模态数据融合方法通常采用固定的特征组合方式，难以在模态数据缺失时有效应对。本项目提出了一种自适应的多模态数据融合方法，使模型能够在数据缺失条件下，重新构建有效的统一表示。通过动态调整不同模态特征的融合策略，本方法在融合缺失模态时能够有效保留各模态的关键特征，为多模态数据不完整条件下的统一表示提供了更高的灵活性和准确性。

1.技术路线

在本研究中，我们的目标是通过改进Multimodal Federated Learning Framework for Incomplete Modalities (FedInMM)，提升模型在数据缺陷时的性能。本研究提出了一种新颖的数据缺陷处理模块（DLPM），旨在对数据集中的缺失部分进行有效的补全。

（1）问题重新和变量定义

我们定义每个客户端的输入数据，定义模态种类数。为了简化问题，本文假设客户端最多只输入两种模态的数据，分别为用l表示语言模态，v表示视觉模态。

（2）数据随机掩码

为了训练模型对数据缺陷的处理能力，我们将在训练数据上随机进行掩码，人为制造缺陷率为0.1~0.4的伪真数据，模拟真实场景下的数据缺陷问题。具体来说，我们生成满足均匀分布的随机数矩阵尺寸与D^k_m相等。然后根据人为制造缺陷率将随机数矩阵数值映射到{0，1}，然后按位与D^k_m相乘。

（3）正交损失优化

我们在FedInMM上进行改进，争对每种模态都设计了一个编码器(Encoder)，模型根据数据中的模态标签值i选择合适的编码器进行特征提取，得到不同模态的特征值h^m。我们期望不同的编码器可以提取出正交互补的特征信息，因此我们设计了正交损失(orthogonality loss)。

（4）数据补全模块

我们参考了LNLN模型，设计了数据补全模块(Complementor)，用于补全丢失的部分数据，一定程度上可以弥补丢失的特征信息。Complementor由两个Transformer Layer构成，通过注意力机制，期望通过同模态其他部分的数据补齐缺失的信息。

我们希望补全后的数据所携带的信息，能尽可能与原始数据保持一致，因此我们将使用L2范数，计算特征值与原始特征之间的差异。

（5）模态数据纠正

我们认为，仅仅通过数据补全模块，并不能充分的完善缺失信息。同时，补全时产生的特征数据有概率是错误信息，会给模型造成一定的负影响。因此我们在Complementor后设计了模态数据纠正模块(Modality Data Correction)，该模块可以综合其他模态的特征，对当前模态的信息做进一步完善补充。并且我们考虑到当前模态原本携带的信息更加也很关键，我们希望其他模态的信息是用来补充缺陷，而不是取代模态特征。 具体来说，首先将使用补充权重预测模块(Complementary Weight Prediction)，该模块将根据经Complementor完善前的特征，预测模态数据的缺陷率，并以此为权重指导后续补充信息与原始信息的加权融合。

接着模态特征辅助生成器Sup(由两层Transformers Encoder组成)将结合其他模态的信息，以及随机初始化的可学习参数，生成辅助特征，用于补全和纠正主导模块。为了让特征值具有更高的可学习性和自由度，我们在此基础特征上加上了可学习参数。

为了确保辅助特征提供了与当前模态特征不同的视角，我们使用了对抗学习。我们设计了二分类鉴别器Dis，用于判断数据是否来自当前模块。

通过鉴别器来训练生成器，使得生成器生成的特征值不是当前模态特征的简单复制，而是包含了其余模态的综合特征。

经过上述操作，模型将很大程度上解决数据缺陷问题，有利于后续数据融合，提高模型的性能。

2.拟解决的问题

在多模态联邦学习领域，研究者们面临着由数据异构性和不完整性所带来的挑战。多模态学习通过整合不同模态的信息，能够显著提升模型的泛化能力。然而，现实世界中的多模态数据常常存在不完整性，这限制了全局模型的准确性。现有的数据融合策略，例如渐进式融合和正交序列融合，以及数据对齐方法，如ALBEF中采用的动量蒸馏和动态时间规整，虽然能够提升模型训练的效果，但在处理存在缺陷的多模态数据时，可能会引起对齐紊乱和融合异常，从而影响模型的学习效果。

特别地，当客户端数据模态存在缺失时，模型可能会出现不平衡学习，导致模型在某些方面的性能存在显著缺陷。在这种情况下，传统的数据对齐和融合技术将不再适用。如果利用这种模态不平衡的数据进行训练，将使得模型性能偏向大数据量的模态，导致模型的鲁棒性降低。

目前常用的方法是人工数据清洗，例如通过K最近邻（K-Nearest Neighbors, KNN）、长短期记忆网络（LSTM）补全或使用生成对抗网络（Generative Adversarial Network， GAN）生成缺失数据。这些方法虽然能够缓解数据不完整性的问题，但同时也增加了额外的成本，并且可能不利于模型的学习。因此，在数据缺陷和异构性并存的条件下，如何有效地融合和分析不完整的多模态数据，以提升多模态联邦学习模型的准确性和鲁棒性，成为一个亟待解决的学术难题。

3.预期成果

1）在中文学术期刊上发表 1 篇学术论文

2）参加上海市计算机应用能力大赛、中国国际大学生创新创业大赛等

第一阶段：查阅资料与文献研究（2024. 9）

阶段目标：全面了解多模态学习、联邦学习和数据缺陷处理的最新研究进展。

1) 查阅与该领域相关的论文、专利和技术报告。

2) 汇总国内外相关研究的现状与挑战，了解现有技术的不足之处。

3) 为导师的研究提供文献支持，提出初步的研究思路。

第二阶段：参与项目研究方案的设计（2024. 10）

阶段目标：协助导师制定详细的项目研究方案。

1) 参与讨论项目的具体研究内容与创新点。

2) 协助设计实验方案，包括数据采集方法、模型结构与训练流程。

3) 明确项目实施计划，记录各阶段的时间节点和任务分配。

第三阶段：实验研究与数据采集（2024. 11 - 2025. 2）

阶段目标：参与实际实验，验证研究方案的可行性。

1) 协助数据采集，获取多模态数据，并处理不完整模态的数据问题。

2) 参与模型训练，协助导师进行模型调优。

3) 对模型进行初步测试，评估其在缺失数据情况下的性能。

第四阶段：数据统计、处理与分析（2025. 3 - 2025. 4）

阶段目标：对实验数据进行统计分析，提取有效结论。

1) 协助收集模型输出结果，并进行数据统计分析。

2) 比较不同实验设置下模型的表现，记录和分析结果。

3) 整理分析结果，为后续的研制开发提供数据支持。

第五阶段：模型优化与结果汇报（2025. 5 - 2025. 6）

阶段目标：参与模型的优化与改进。

1) 根据实验结果调整模型参数和结构，提升模型性能。

2) 协助开发项目成果的应用原型，并进行现场测试。

3) 准备中期汇报，向导师和团队展示研究进展。

第六阶段：中期检查（2025. 7）

阶段目标：对项目进展进行全面评估，确保各项任务按计划进行。

1) 汇报项目进展与成果，接受导师或专家的反馈意见。

2) 根据反馈调整项目计划，确保后续工作的有效性。

第七阶段：填写结题表与总结报告（2025. 8 - 2025. 9）

阶段目标：总结项目成果，准备结题材料。

1) 整理项目文档、实验数据和相关材料，准备结题表格。

2）撰写总结报告，回顾项目实施过程与收获。