社会与实践：温州话被誉为中国最复杂的方言之一，至今难以被非本地人和现代语言技术准确识别。同时，老一辈温州人往往难以流畅使用汉字普通话进行沟通，甚至在微信上偏爱使用语音功能，以克服与年轻人或外地人交流的障碍。年轻人对温州话的掌握也逐渐减弱，导致许多温州方言的俚语和故事面临失传。以温州话为代表的方言急需新的技术为其注入生命活力。

科研与技术：尽管近年来人工智能大模型的发展为方言的识别、转译带来了新机遇，当前的研究主要集中在普通话和少数主流方言，而温州话的识别尚无成熟模型。该研究正是为了填补这一空白，提供解决数字化资源稀缺的小众方言识别这一社会难题的技术路径。本项目聚焦温州市鹿城区的温州话，通过应用前沿大模型技术，探索语音大模型在小众方言领域的应用方法。项目将建立一整套有效的流程，从数据采集、清洗、数据集构建到模型训练、微调及实际应用，克服温州话语料稀缺的困难，开创性探索出小众方言数字化与语音模型开发的技术路线，力图为温州话方言及其所承载的人文历史和文化的保护、传承贡献力量。

个人发展：此外，研究过程还将提升团队成员的科研能力、技术水平和团队协作力，帮助他们接触大模型领域的前沿技术，探索可行的创新方案。该项目不仅具有一定的学术价值，更承载社会责任，帮助团队成员在解决实际问题的过程中，树立将学识服务于社会的务实态度。

1.       网络爬虫数据采集：学习爬虫技术，研究定制化的实行方案。通过温州电视台节目等多渠道采集温州话语音样本，采用网络爬虫技术批量高校获取向公众公开的温州话频道的视频资源。

2.       数据集与标准语料库建设：针对特定困难与情景，研究出可行的解决方案。通过VAD、OCR、说话人识别、音频降噪模型等技术来处理音视频数据。开发一套合适的自动化数据清洗流程，自动分离所需的温州话音频与字幕并自动对齐。最后建立标准化的温州话数据集、语料库，以应对温州话数据稀缺的问题。

3.       模型训练与微调：学习对大模型、开源平台工具的使用。在领域前沿现有的开放的高性能语音模型的基础上，训练温州话方言识别模型，后利用LoRA微调等高效方法，优化大模型在温州话识别中的表现，尤其是鹿城区标准温州话的识别效果。

4.       系统集成与应用推广：总结研究方法和实践经验。最后在小程序或开源平台上推出识别模型，以实际应用推动温州话的保护和传承。

        随着开放数据和开源模型的发展，一些研究团队逐渐在小语种数据集和模型权重上实现公开化。这种趋势不仅有助于提升小语种识别技术的可复现性，也进一步推动了语言技术在更多方言中的应用。在技术层面，端到端的高性能语音语言模型逐渐成为主流，直接生成语音输出，避免了传统转换方式的误差累积，特别适合处理音系复杂的方言。这些技术进展为温州话等资源稀缺的复杂方言带来了新的研究思路和解决方案。

        不过，当前方言识别模型仍多依赖深度学习技术和大规模的语音数据集，通过语音识别与文字对应实现语言模型的训练与微调。目前国内已有部分高校和企业针对地方方言开展语音识别的研究，但多集中在资源较为丰富的方言区域，如粤语和上海话。国际上，方言识别研究同样倾向于对资源丰富的语言和口音进行训练和识别，真正高效可用的小语种语音模型及其研究路线也仍旧较少。

        而像温州话这样音系复杂、资料稀缺的方言尚未得到足够的关注，也未曾有团队推出一系列关于温州话的标准语言数据集。当前，温州话大模型开发存在着数字化语料稀缺，标准化程度低，且人工数据标注成本高等等困难。此外，温州话相比当下研究较多的小语种，语料资源仍旧显得尤为稀缺。因此，团队还需找到高性能语音模型和搞笑的训练、微调方法，以在数据有限的情况下训练得相对有效的语言模型。

创新性数据来源： 项目将首次尝试通过温州电视台节目等温州话数字资源进行大规模语料采集，这是目前温州话语音识别研究中仍缺少重视和开发的资源。

创新性实现方案：在语料资源相对匮乏和难以获取的情况下，探索不依赖大量人工标注，而是环节高度自动化的，具有针对性的数据集处理办法。

针对性研究： 项目专注于鹿城区标准温州话的识别，这一地域性强、难度高的方言目前尚无成熟的解决方案，项目有望填补这一空白。

其他特色：本项目专注于解决社会实际问题的技术路线研究，实用性强，开创性强。

1.  通过以温州电视台的节目为代表的多元渠道收集标准温州话语音样本。

（1）  克服温州话数字化语料稀缺的困难，掌握网络爬虫获取音视频资源的方法，并实现在相关app和网址自动化抓取数据资源。

（2）  通过向官方或者民间团队联系寻求帮助，以收集到部分高质量数据资源。

2.  研究得出一套对数据进行清洗和整理的标准化流程，并构建相对丰富且标准化的鹿城区温州话语料库。

（1）  学习辨别当前开源平台上多而杂的语音与文字工具，了解并熟练掌握能够起到重要作用的几种开源平台中的模型工具，如OCR文字识别模型、说话人语音识别模型和语音降噪模型等。

（2）  克服温州话音视频语料中，由于主持人变化、温州话与普通话或闽南话交错出现导致的说话人识别困难。通过VAD将整段音频切分为单句后，在前一百句中取样，确认语音数最多的两人为主持人，再对剩余音频进行筛选。这种方法具有极高的通用性，能够克服该领域存在的困难。

（3）  克服从视频中构建语料库和数据集时，语音和文字需要高度对齐的困难。团队拟在VAD的同时采用OCR文字识别，事先将文字与单句语音对齐，按照一定规则命名。后以对应文件名为依据，语音文字同步进行分类。

（4）  实现对音视频资源进行自动化批量高效处理，以构建足够的语料库。

3.  开发一套可以识别鹿城区标准温州话的语言模型系统，并且具备较高的识别准确率和可用性。

（1）  培养甄别和筛选合适的大模型工具的能力。选定一个高性能语音模型，学习人工智能大模型框架与构造，熟悉其工作原理，并能熟练地将其运用于温州话大语言模型的训练开发中。

（2）  掌握并熟练使用高效的微调方法，如LoRA微调等。基于现有的语音识别模型，使用温州话语料库进行微调，以提高模型在温州话识别中的表现，尤其针对鹿城区的标准温州话进行优化。

（3）  培养实际应用能力，将研究赋予现实价值。在小程序平台或者开源平台上推出这一模型和研究方法，以资温州话方言事业的发展。

前期调研与项目设计（11-12月）：查阅文献，设计技术方案，制定数据收集策略。

数据收集与处理（12-次年2月）：采集温州话语料，进行数据清洗和标注。

模型训练与初步实验（2-9月）：完成初步模型训练，进行实验并分析结果。

中期检查与优化（9-12月）：中期检查，优化模型并补充数据集。

成果整理与最终实验：进行最终实验验证，撰写报告并推广成果。