基于PredRNN的蓝藻时空序列预测实验方案设计_罗晓清.pdf

实 验 技 术 与 管 理 第 40 卷 第 8 期 2023 年 8 月 Experimental Technology and Management Vol.40 No.8 Aug.2023 收稿日期:2023-03-29 基金项目:国家质量工程人工智能双语示范课程（1255210252102570）；国家自然科学基金项目（61772237）；江苏省六大人才高峰项目（XYDXX-030）；江南大学本科教育教学改革研究重点项目（JG2021051）；江南大学研究生课程思政示范课程（YJSKCSZSFKC22_010）；江南大学专业学位研究生教学案例库建设项目（YJSJXALK21_017）作者简介:罗晓清（1980），女，江西南昌，博士，副教授，硕士生导师，主要研究方向为实验技术、机器学习、计算机视觉相关科研和教学工作，。通信作者:吴小俊（1967），男，江苏丹阳，博士，教授，博士生导师，江南大学研究生院院长，主要从事智能信息处理研究与计算机科学与技术类专业教学研究，wu_。引文格式:罗晓清，王培睿，张战成，等.基于 PredRNN 的蓝藻时空序列预测实验方案设计J.实验技术与管理,2023,40(8):40-48.Cite this article:LUO X Q,WANG P R,ZHANG Z C,et al.Experiment scheme design of cyanobacterial spatio-temporal sequence prediction based on PredRNNJ.Experimental Technology and Management,2023,40(8):40-48.(in Chinese)ISSN 1002-4956 CN11-2034/T DOI:10.16791/ki.sjg.2023.08.007 基于 PredRNN 的蓝藻时空序列预测实验方案设计 罗晓清1,2,3，王培睿1,2,3，张战成4，吴小俊1,2,3（1.江南大学 人工智能与计算机学院，江苏 无锡 214122；2.江南大学 先进技术研究院，江苏 无锡 214122；3.江苏省模式识别与计算智能工程实验室，江苏 无锡 214122；4.苏州科技大学 电子与信息工程学院，江苏 苏州 215000）摘 要：该文采用 PredRNN 技术设计了蓝藻时空序列预测综合实验方案，可为湖泊蓝藻治理提供有效参考。实验利用 Python 语言，在 PredRNN 算法基础上，构建蓝藻时空序列预测系统。整个实验方案包括蓝藻 NDVI（归一化植被指数）图像数据预处理、蓝藻数据集划分、时空序列预测模型训练、预测模型测试与彩色化显示 5 个模块，并通过对比实验说明了 PredRNN 算法用于蓝藻时空序列预测的可行性和实用性。该实验方案的设计可帮助学生熟练掌握 Python 编程技能，有利于提升学生对图像处理与计算机视觉知识的综合应用能力，实现计算机视觉课程教学理论至实践的延伸，强化教学与科研的有机结合，提升学生的科研素养，促进计算机视觉课程的建设。关键词：计算机视觉；时空序列预测；蓝藻预测实验；PredRNN；案例驱动教学 中图分类号：G642.0；TP391 文献标识码：A 文章编号：1002-4956(2023)08-0040-09 Experiment scheme design of cyanobacterial spatio-temporal sequence prediction based on PredRNN LUO Xiaoqing1,2,3,WANG Peirui1,2,3,ZHANG Zhancheng4,WU Xiaojun1,2,3(1.School of Artificial Intelligence and Computer Science,Jiangnan University,Wuxi 214122,China;2.Institute of Advanced Technology,Jiangnan University,Wuxi 214122,China;3.Jiangsu Laboratory of Pattern Recognition and Computational Intelligence,Wuxi 214122,China;4.School of Electronics and Information Engineering,Suzhou University of Science and Technology,Suzhou 215000,China)Abstract:This paper proposes a comprehensive experiment scheme that uses PredRNN technology to design a cyanobacterial spatio-temporal sequence prediction system.This experiment can provide effective reference for the treatment of cyanobacteria in lakes.The experiment uses Python language to build a cyanobacterial spatiotemporal sequence prediction system based on the PredRNN algorithm.The whole experimental program includes five modules:Pre-processing of cyanobacterial NDVI(normalized difference vegetation index)image data,segmentation of cyanobacterial dataset,training of spatial-temporal prediction model,testing of prediction model and colorized display.Through comparative experiments,the feasibility and practicality of using the PredRNN algorithm for cyanobacterial spatio-temporal sequence prediction are demonstrated.The experimental scheme is designed to help students master Python programming skills,help improve students comprehensive application of image processing and computer vision knowledge,realize the extension of teaching theory to practice in computer vision courses,strengthen the organic combination of teaching and research,enhance students research literacy,罗晓清，等：基于 PredRNN 的蓝藻时空序列预测实验方案设计 41 and promote the development of computer vision courses.Key words:computer vision;spatio-temporal sequence prediction;cyanobacterial prediction experiment;PredRNN;case-driven teaching 1 案例工程背景 受沿湖工业活动的影响，湖泊的水体富营养化加剧，加之气候变化的影响，导致湖泊中的蓝藻爆发越来越频繁1。大规模的蓝藻爆发会引起水质急剧恶化，对湖泊生态系统造成严重破坏，还会对沿岸城市经济造成巨大损失，对人民群众的生命安全造成威胁。2007年，太湖发生了严重的大规模蓝藻爆发事件，自此蓝藻治理就成为社会各界关注的焦点。挖掘湖泊中蓝藻的演化规律，准确预测蓝藻的爆发，是有效预防大规模蓝藻爆发的必要条件，也是蓝藻治理中极其重要的一环2-3。计算机视觉是人工智能的一个重要分支，也是高校计算机专业的一门核心课程4。作为计算机视觉的一个分支领域，时空序列预测5在近年来逐渐成为研究热点。随着遥感技术的发展，蓝藻图像数据量逐渐增多，使得蓝藻时空序列预测成为可能。机器学习方法擅长从大量数据中挖掘出潜在的规律，现今已有诸多研究使用机器学习方法解决蓝藻预测问题。吴娟等6基于 20142018 年太湖气象水文水质 数 据 与 卫 星 遥 感 数 据，分 别 采 用 支 持 向 量 机（SVM）、长短记忆神经网络（LSTM）、极端梯度提升树（XGBoost）模型来预测全太湖、贡湖、南部沿岸区、中西北湖区的蓝藻水华面积。Lee 等7使用多层感知器（MLP）、循环神经网络（RNN）和 LSTM来预测韩国 4 个主要河流一周后的蓝藻爆发概率。Cao等8提出一个 CNN-LSTM 综合模型，利用从 MODIS图像中获得的近 20 a时间序列数据来预测太湖的有害蓝藻爆发事件。以上研究说明了机器学习方法对于解决蓝藻预测问题的有效性，但是现存方法均利用时间序列数据来进行蓝藻预测，使得蓝藻演化的空间特征未得到充分利用。蓝藻的演化具有明显的时间和空间变化特征，可以通过合适的时空序列预测模型从大量数据中学习其时空演化规律，充分利用数据的时空特征做出合理的预测。近年来，基于 LSTM 的时空序列预测方法9在降水预测10、犯罪事件预测11和交通流预测12等领域取得成功，说明该方法在时空预测问题上具有有效性和优越性。因此，本文以蓝藻时空序列预测为主题开展计算机视觉课程的实践训练，基于预测 RNN（PredRNN）算法13设计了蓝藻时空序列预测综合实验方案。此综合实验方案有助于学生深入理解计算机视觉中的时空序列预测和深度学习的理论知识，掌握蓝藻预测的实现过程，熟练使用 Python 程序设计语言，增强实践创新能力。2 案例设计 本实验方案选取 PredRNN 作为时空序列模型进行蓝藻预测，通过训练数据更新 PredRNN 模型参数，使模型从图像数据中学习到蓝藻演化规律，进而输出蓝藻演化预测图像。本文蓝藻时空序列预测实验方案由 5 个模块构成：蓝藻 NDVI（归一化植被指数）图像数据预处理、蓝藻数据集划分、时空序列预测模型训练、预测模型测试与彩色化显示（将灰度图像预测结果转换为彩色图像），整个实验方案流程如图 1 所示。蓝藻 NDVI 图像数据预处理模块旨在将蓝藻 NDVI图像根据模型需求进行尺寸缩放和颜色转换，得到符合要求的灰度图像数据。蓝藻数据集划分模块用于将蓝藻数据集合理地划分为测试集和训练集，以供预测模型训练和评价模型效果。时空序列预测模型训练模块旨在利用训练集蓝藻数据对 PredRNN 时空序列预测模型进行网络参数优化，逐步迭代学习，使预测模型学习蓝藻演化的时空特征，并保存最优的模型参数。预 图 1 实验方案流程图 42 实 验 技 术 与 管 理 测模型测试模块用于加载训练后保存的最优网络参数，采用 PredRNN 时空序列预测模型进行蓝藻预测。彩色化显示模块旨在将预测模型输出的灰度图像转换为彩色图像，并凸显出水体区域，以便与真实蓝藻图像对比，为定性评价提供依据。通过以上 5 个模块，完整实现了基于 PredRNN 的蓝藻时空序列预测实验方案设计。3 实验原理 本实验方案的核心是 PredRNN 时空序列预测算法，其原理比较复杂抽象，囊括了卷积神经网络、循环神经网络、时空序列特征抽取和回归学习等基础理论知识。PredRNN 时空序列预测网络可实现蓝藻时空特征抽取、蓝藻时空演化规律学习和蓝藻预测图像输出。为了让学生能更深入地掌握和理解基于 PredRNN的蓝藻时空序列预测方法，本文首先详细阐述了PredRNN 算法原理，接着介绍了 PredRNN 堆叠式网络结构，最后给出了将 PredRNN 用于蓝藻时空序列预测的具体流程。3.1 PredRNN 算法原理 LSTM 是 RNN 的一种重要变体，在早期 RNN 单元的基础上添加了细胞状态（cell state）和门控机制，使得早期 RNN 的短期记忆现象得到改进，保证信息能在序列学习过程中更持久地传递下去14。传统的全连接 LSTM（FC-LSTM）具有很强的时序学习能力，常被用于时间序列预测。对于时空序列预测所使用的图像数据来说，如果使用传统的 FC-LSTM 模型，即将图像矩阵拉伸为一维向量输入 LSTM 模型中进行预测学习，将导致空间信息的丢失，故 FC-LSTM 无法处理带有空间信息的序列数据15。为了解决这一问题，ConvLSTM16将卷积神经网络（CNN）和 LSTM结合起来，使用 CNN 来进行空间特征提取，LSTM 结构用于学习空间特征在时序上的演化，使得网络具有处理时空序列数据的能力。PredRNN 在 ConvLSTM 的基础上，引入了一种双记忆状态转移机制，将原始的细胞记忆状态 C 和新的时空记忆状态 M 结合起来，从而派生出一个新的基本循环单元，名为时空长短时记忆（Spatiotemporal LSTM，ST-LSTM）单元。M 的加入，使得 PredRNN 具备更强的时空特征学习能力，能保留更丰富的时空细节信息，实现空间相关性和时间相关性的深度特征融合，允许不同循环网络层的记忆状态跨层交互。PredRNN 的基本循环单元 ST-LSTM 的网络结构如图 2 所示，其工作过程包含以下 4 个阶段：（1）时空特征提取阶段。本阶段旨在通过卷积操作对上一时刻基本循环单元传递而来的时空信息进行 图 2 ST-LSTM 网络结构 提取。1lt-H表示第 l 层从上一时刻（t1）传递到当前时刻 t 的隐状态（hidden state），其携带着从之前序列中学习到的时空特征，tX表示当前时刻 t 输入到网络的隐空间特征图。首先通过两个独立的尺寸大小为33 的卷积核分别对1lt-H和tX进行时空特征提取，并利用矩阵相加操作将提取得到的1lt-H和tX进行特征融合以作为下一阶段C的门控信息源。最后，利用矩阵相加操作将提取得到的tX和上一层次即第（l1）层同一时刻t的基本循环单元传递而来的1lt-M进行特征融合以作为下一阶段ltM的门控信息源。（2）门控信息生成阶段。本阶段旨在利用上一阶段生成的融合时空特征生成门控信息。值得注意的是，C和M的信息流动方向不同。1lt-C来自于同一层次 l上一时刻（t1）的基本循环单元，而1lt-M来自于上一层次（l1）同一时刻 t 的基本循环单元。M沿着空间特征提取的方向进行流动，这样的设计使其能更好地保留空间细节特征。考虑到记忆状态在不同的流动方向上应该有不同的控制信号，因此M具备专属的输入门t i，输入调制门t g和遗忘门t f。故此阶段需要生成C的 3 个专属门控ti、tg和tf以及M的 3 个专属门控t i、t g和t f。上一阶段中得到的1lt-H和tX的融合时空特征经过相互独立的两个 Sigmoid（）激活函数和一个 Tanh 激活函数，生成C的门控ti、tg和tf；上一阶段得到的l-1tM和tX的融合时空特征也经过相互独立的两个 Sigmoid（）激活函数和一个 Tanh 激活函数，生成M的门控t i，t g和t f。（3）时空信息筛选阶段。本阶段旨在利用上一阶段生成的门控对上一时刻（t1）和上一层次（l1）基本循环单元传递而来的时空信息1lt-C和1lt-M进行更新，得到ltC和ltM。利用输入调制门tg通过哈达玛积（）操作将ti中的有效时空信息筛选出来，再利 罗晓清，等：基于 PredRNN 的蓝藻时空序列预测实验方案设计 43 用tf通过哈达玛积操作将1lt-C中的有效时空信息筛选出来，最后通过矩阵相加融合两个有效时空信息得到ltC。遵循与ltC一致的更新方法，利用门控t i、t g、t f和1lt-M，将筛选融合后的时空信息更新到ltM中。（4）时空信息融合阶段。本阶段旨在利用上一阶段更新后的ltC和ltM更新隐状态ltH。通过矩阵相加操作将tX、1lt-H、ltC和ltM的时空信息融合起来，再通过 Sigmoid（）激活函数得到输出门to。为了隐状态ltH能有效融合保存ltC和ltM的时空信息，先沿通道维度将ltC和ltM拼接起来，再利用一个 11 的卷积核进行降维，以保证特征图通道维度相同，最后利用输出门to通过哈达玛积操作将经过 Tanh 激活函数激活后的ltC和ltM融合特征的有效信息筛选出来，更新到当前时刻 t 基本循环单元的隐状态ltH中。ltC、ltM和ltH中的时空信息会继续传递到 t+1 时刻的基本循 环 单 元 中 以 实 现 时 空 特 征 的 循 环 提 取。上 述PredRNN 基本单元 ST-LSTM 的整个时空信息学习过程可用式（1）描述。xghg1xihi1xfhf11xgmg1ximi1xfmf11xohotanh()()()tanh()()(*)(*ltttltttltttltttltttltttlltttttllttttttt-=+=+=+=+=+=+=+=+=+gwXwHiwXwHfwXwHgwXwMiwXwMfwXwMCfCigMfMigowXwH1comol l*)tanh(,)llltttllltttt-+=wCwMHowCM（1）其中，符号表示拼接（concat）操作，*表示卷积操作，tX、1lt-H、1lt-C、1lt-M、ltC、ltM使用独立的卷积核来进行空间特征提取，故均具有各自独立的权重，xiw、xgw、xfw表示用于提取tX空间特征并用于生成门控ti，tg、tf的卷积操作权重；hiw、hgw、hfw表示用于提取1lt-H空间特征并用于生成门控ti，tg、tf的卷积操作权重；xiw、xgw、xfw分别表示用于提取tX空间特征并用于生成门控t i、t g、t f的卷积操作权重；miw、mgw、mfw分别表示用于提取1lt-M空间特征并生成门控t i、t g、tf的卷积操作权重；xow、how、cow、mow分别表示用于提取tX、1lt-H、ltC、ltM空间特征并生成门控to的卷积操作权重；1 1w表示用于提取ltC和ltM拼接得到的特征图的空间特征的 11 卷积操作权重。3.2 PredRNN 堆叠式网络结构 PredRNN 通过堆叠多个基本循环单元来增加模型深度，以提取到深层次的蓝藻空间特征，更好地学习蓝藻演化规律。PredRNN 堆叠式网络结构如图 3 所示。图 3 PredRNN 堆叠式网络结构 本实验方案中构建的是一个层数 l 为 4，隐空间通道维度 D 为 64，输入 6 帧藻图像，预测未来 6 帧蓝藻图像的 PredRNN 堆叠式网络结构。以图 3 中输入 3帧蓝藻图像，预测未来 3 帧蓝藻图像为例进行说明。垂直方向上级联的一组基本循环单元由 4 个独立的ST-LSTM 基本循环单元堆叠而成，其中黑色箭头线和橙色箭头线分别表示C和M的信息流动路径。时空记忆流使得记忆状态转移方式不再仅沿着时间方向更新记忆状态，沿纵向的时空记忆流可以有效减少空间特征在网络各层之间的梯度消失现象。Z 字形的时空记忆流可使顶层的记忆状态传输给下一时刻的最底层记忆状态，即最底层的细节记忆不再仅依赖于本层前一时刻的记忆状态，同时也依赖于更高层次上历史时刻的时空特征，从而使得 PredRNN 模型学习到层次化更广泛的时空特征。对于蓝藻时空序列预测任务，输入的蓝藻图像经过特征嵌入层从单通道图像转换为隐空间通道维度 D 为 64 的蓝藻特征图，蓝藻特征图经过堆叠式网络结构学习和特征降维层的处理，转换为单通道蓝藻预测图像输出。PredRNN 堆叠式网络结构的工作过程分为学习阶段和预测阶段，具体如下：44 实 验 技 术 与 管 理 （1）学习阶段。此阶段旨在使网络通过真实蓝藻图像的时空特征学习到蓝藻演化的规律。由于需要按照时间顺序向垂直方向上级联的 4 个 ST-LSTM 基本循环单元输入真实的蓝藻图像以学习蓝藻的演化特征，故在学习阶段输入当前时刻t的真实蓝藻图像tX，经过特征嵌入堆叠循环网络特征降维，最终输出中间特征图1t+X，蓝藻时空演化信息将被保存在每个ST-LSTM 基本循环单元的C和M中。（2）预测阶段。此阶段旨在根据网络学习阶段得到的时空演化信息，输出未来时刻的蓝藻预测图像。由于需要利用时刻（t1）网络学习到的信息以引导网络输出时刻 t 的预测结果，故在预测阶段要以时刻（t1）输出的中间特征图tX（即时刻 t 的预测结果tP）作为时刻 t 的输入，经过特征嵌入堆叠循环网络特征降维，结合C和M中包含的时空信息，最终输出时刻（t+1）的预测结果1t+P。又以1t+P作为时刻（t+1）的输入，输出时刻（t+2）的预测结果2t+P，从而依次循环输出后续时刻的预测结果。3.3 基于 PredRNN 的蓝藻时空序列预测流程 时空序列预测是指对时空序列数据进行建模并作出预测，其预测目标的演变规律同时受空间和时间的约束。时空序列预测任务旨在根据长度为J的历史时空数据序列，预测出概率p最大的长度为K的未来时空数据序列，其定义如式（2）所示。1111argmax()tt Ktt Ktt Kt Jt+-+=XXPPP XXXX（2）其中，1t Jt-+XX表示从时刻1tJ-+到t的历史时空数据序列，1tt K+PP表示预测结果，即概率p最大 的未来时空数据序列。按照时间维度顺序排列的图像同时包含时间信息及空间信息，故将蓝藻图像数据作为上述时空数据，可将蓝藻预测问题转换为时空序列预测问题，即蓝藻时空序列预测。本实验方案的蓝藻时空预测流程如图 4 所示，主要包含以下步骤：（1）将起始时刻至 t 时刻的历史蓝藻图像帧序列1tXX逐帧输入到特征嵌入层中，对蓝藻图像特征进行初步提取，转换为隐空间维度 D 为 64 的蓝藻隐空间特征图。特征嵌入层是一个卷积核尺寸大小为 11的卷积层，用于将蓝藻图像映射到更高维的隐空间，即增加通道维度。（2）将蓝藻隐空间特征图输入 PredRNN 堆叠式时空序列预测网络最底层的 PredRNN 基本循环单元中，通过 PredRNN 网络的堆叠式结构循环提取蓝藻隐空间特征图序列的时空特征，逐步更新C和M，学习蓝藻演化的规律。具体来说，PredRNN 堆叠式时空序列预测网络实际上只需要构建垂直方向上级联的一组PredRNN 基本循环单元，沿着时间维度（水平方向）依次输入对应时刻的蓝藻隐空间特征图到基本循环单元组中，即可实现蓝藻时空特征的循环提取。（3）将 PredRNN 堆叠式时空预测网络输出的蓝藻隐空间特征图输入特征降维层中，通过一个卷积核尺寸大小为 11 的卷积层对蓝藻隐空间特征图进行降维，再将降维后的蓝藻隐空间特征图转换为灰度预测蓝藻图像，最终 PredRNN 网络输出时刻（t+1）至时刻（t+K）的预测蓝藻图像帧序列1tt K+PP。图 4 蓝藻时空序列预测流程 4 实验方案实现 本实验硬件环境为 Intel(R)Core(TM)i7-6850K CPU 3.60 GHz 处理器、NVIDIA GeForce RTX 3090 GPU（24 GB 显存），64 GB 内存。软件环境为Windows10 系统、Pycharm 编辑器、基于 Python 3.8的 Pytorch 1.13.0 和 CUDA 11.7 深度学习框架。4.1 实验数据预处理 本实验方案所用的数据集来自某市气象局提供的2019 年度太湖蓝藻 NDVI 图像，原始数据共计 50 432幅图像，时间分辨率为 10 min。图像预处理是视觉任务中一个非常重要的环节，预处理的流程和手段对网络学习效果有直接影响。由于原 NDVI 图像中存在如背景、轮廓等无关信息，会影响网络的训练，罗晓清，等：基于 PredRNN 的蓝藻时空序列预测实验方案设计 45 为了网络能学习到有效特征，需要对原始数据进行预处理，具体的预处理步骤（见图 5）如下：（1）建立 3 个文件夹，分别存放原始 NDVI 图像、去除无关背景信息后得到的彩色蓝藻图像和预处理完成后得到的预处理图像。（2）将预先准备好的掩码图像（太湖水体区域灰度值为 255，非太湖水体区域灰度值为 0）存放在步骤（1）新建的 3 个文件夹的同级目录下。（3）编写 Python 程序段读取掩码图像，根据掩码图像将 NDVI 图像中的蓝色背景和黄色轮廓去除，只留下蓝藻区域，得到三通道的 RGB 彩色蓝藻图像并保存到相应的文件夹中，图像中的红色、橙色、和绿色分别对应重度、中度和轻度三个不同的蓝藻强度。图 5 数据集预处理步骤 （4）考虑到彩色图像处理起来比较耗费计算资源，因此对其进行灰度化来减小计算复杂度。若直接调用 OpenCV 等图像处理库提供的灰度化函数，将会导致灰度值的混杂，无法建立蓝藻强度与灰度值的对应关系。通过编写 Python 程序段，将重度、中度和轻度三个不同的蓝藻强度分别映射为 100、150、200 三个灰度值，其余背景灰度值映射为 0，得到能够反映蓝藻强度的单通道灰度蓝藻图像。（5）基于 PredRNN 的蓝藻时空序列预测任务需要输入多张连续蓝藻图像，显存占用大，有必要缩小蓝藻图像缩放从而缩小模型体积，降低显存占用，提升训练和预测推理速度。因此，编写 Python 程序段将第（4）步骤得到的灰度蓝藻图像缩小到尺寸大小为 256256 像素，将预处理后的图像保存在相应文件夹中。（6）编写 Python 程序重复执行步骤（3）（5），直至所有原始 NDVI 图像全部完成预处理。4.2 实验数据划分 本实验将数据集划分为训练集和测试集两部分。测试集的数据分布要尽量与训练集接近且不能有数据重叠，测试集数据不能在训练过程中使用，这样才能在测试阶段更加客观地反映已训练模型的真实性能。湖泊中的蓝藻易受到温度、湿度和季节性变化等因素的影响，并不是每一天每时每刻都会出现蓝藻爆发。故本实验方案所使用的蓝藻数据集存在无蓝藻爆发的图像，即全黑图像。全黑图像会在训练过程中给网络带来不必要的噪声，显著影响网络的时空预测效果，因此需要去除这部分图像。此外，通过统计月份与太湖蓝藻月爆发总量（用灰度值总量描述）的关系，发现蓝藻爆发主要集中于 59 月之间，如图 6 所示。图 6 太湖蓝藻月爆发量统计直方图 为让网络能预测到大面积爆发时蓝藻的演变情况，给人为干预治理提供参考，需关注蓝藻大面积爆发的月份，故选取 59 月的数据用于制作数据集，且剔除了其中蓝藻爆发面积小于 1 km 的图像，最终得到的蓝藻数据集一共包含 10 141 幅图像。为使测试集和训练集保持一致的数据分布，根据图 6 统计结果得到59 月中每个月的爆发量比例（依次为 23%、14%、22%、24%、17%），按照此比例从 59 月的数据中抽取 20%的图像作为测试集，其余 80%作为训练集。蓝藻数据集划分结果如表 1 所示。表 1 蓝藻数据集划分结果 数据集 图像数量/幅 训练集 8 114 测试集 2 027 总数据集 10 141 46 实 验 技 术 与 管 理 4.3 实验评价指标 为衡量训练后模型的性能，本实验方案使用 3 种评价指标：均方误差（MSE）、临界成功指数（CSI）17、和 Heiclke 技巧评分（HSS）18。时空序列预测属于回归预测任务，MSE 是回归预测任务中常用的评价指标。MSE 定义为预测蓝藻图像和真实蓝藻图像像素灰度平方差的均值，该指标反映了预测蓝藻图像与真实蓝藻图像之间的差异程度，MSE 值越小说明预测效果越好。MSE 的计算如式（3）所示。21MSE()niii1yyn=-?（3）式中?iy和iy分别表示预测蓝藻图像和真实蓝藻图像，n表示图像的数量，即蓝藻预测序列的长度。CSI、HSS是气象预测领域常用的预测效果评价指标，在本实验中用于对某一强度的蓝藻演变预报准确率进行客观评估。CSI和HSS的值越大说明预测越准确，具体定义如式（4）和（5）所示。TPCSITPFPFN=+（4）HSS2(TN FNFP FN)/(TPFN)(FPFN)(TPFP)(FPTN)=-+（5）为计算CSI和HSS指标，需要首先根据蓝藻强度阈值v（即灰度值100、150和200）将真实蓝藻图像和预测蓝藻图像转换为尺寸相同的二值矩阵（只有0和1）。如果当前位置的灰度值g大于阈值v，则设为1，否则设为0。真阳性（true positive，TP），假阳性（false positive，FP），真阴性（true negative，TN）和假阴性（false negative，FN）可通过比较二值矩阵得到。从上述公式可看出，CSI指标的计算只考虑了TP、FP和FN，而HSS指标的计算还考虑了TN，能比CSI更全面地反映出模型对某一强度蓝藻演变的预报准确率。4.4 实验方案模型训练 本实验方案中的蓝藻时空序列预测任务本质上为稠密输出的回归预测任务，输入一定长度的蓝藻图像序列到时空序列预测模型，模型输出一定长度的蓝藻预测图像序列。为公平比较模型的效果，在进行网络模型训练之前，需要设定好各项训练预定参数，具体参数设置如下：所有模型的循环单元层数都设置为4，基本单元之间的隐特征维度设置为64；损失函数选择时空序列任务常用的MSE损失函数（MSE loss function），初始学习率设定为0.001；采用AdamW优化器来最小化MSE损失函数，通过其自适应梯度机制和动量梯度机制来调整学习率，加快模型收敛速度；批量大小（batch size）设置为8，最大迭代轮次（epoch）设置为40；将输入时空序列长度设置为6，预测时空序列长度设置为6，即向模型输入6幅时间维度上连续的真实蓝藻图像（反映过去1 h的蓝藻演化情况），模型输出6幅时间维度上连续的预测蓝藻图像（预测未来1 h的蓝藻演化情况）。训练预定参数设置好后，即可通过运行用Python语言编写的训练程序进行网络模型训练，具体的网络模型训练步骤如下：（1）设置输入蓝藻图像序列16XX256,256,1,6（灰度图通道数为1，输入序列长度为6），从测试集中随机抽取10%的数据作为验证集，在训练过程中每5个epoch验证一次模型效果并保存模型参数。（2）构建特征嵌入层，特征降维层和4个级联的基本循环单元，初始化各基本循环单元的细胞状态，时空记忆状态和隐状态。（3）从输入蓝藻图像序列16XX256,256,1,6中按照时间维度每次抽取单张蓝藻图像nX256,256,1,1(16)n输入到时空序列预测网络中，循环此过程6次，保存最后一次循环输出的特征图7X256，256，1，1。此步骤对应节3.2中所述的学习阶段。（4）将步骤（3）保存的特征图7X输入时空序列预测网络中，输出时刻8的预测蓝藻图像8P256,256,1,1，再将此预测蓝藻图像作为下一个循环的网络输入，输出时刻9的预测蓝藻图像9P 256,256,1,1。共经历6次循环，最终得到未来一小时的蓝藻预测图像结果712PP256,256,1,6。此步骤对应节3.2中所述的预测阶段。（5）利用蓝藻预测图像结果712PP256,256,1,6和对应的真实蓝藻图像712XX256,256,1,6计算MSE损失函数，优化网络模型参数。（6）重复执行步骤（3）（5），迭代优化网络模型参数，迭代到40个epoch时结束并保存模型参数。4.5 实验结果 本实验方案将PredRNN用于蓝藻时空预测任务中，并通过实验比较基于FC-LSTM、ConvLSTM与PredRNN的网络预测性能，以检验PredRNN在蓝藻时空预测任务上的效果，验证其有效性。首先将堆叠式结构的FC-LSTM、ConvLSTM和PredRNN网络在训练集上完成训练并保存权重，然后编写测试程序加载权重，在测试集上进行预测，使用MSE、CSI和HSS对比评价3个模型的性能，其结果如表2所示。从表2可知，FC-LSTM网络的3个指标性能都是最差的，且其CSI和HSS指标在阈值v为150和200时为0，可知未考虑空间信息的FC-LSTM完全无法学 罗晓清，等：基于 PredRNN 的蓝藻时空序列预测实验方案设计 47 表 2 定量评价结果 CSI HSS 模型 MSE v=100 v=150 v=200 v=100 v=150 v=200FC-LSTM 379.6 0.001 0 0 0.019 0 0 ConvLSTM 163.9 0.340 0.3500.098 0.477 0.4870.163PredRNN 162.9 0.337 0.3540.105 0.474 0.4930.175注：v 为灰度值，表示蓝藻强度阈值，加粗数据为所在列性能最好数据。习到蓝藻的时空演化规律。当阈值v为100时，ConvLSTM的CSI和HSS值比PredRNN的大，说明ConvLSTM对于低强度蓝藻爆发事件的预测效果好于PredRNN；阈值v为150和200时，PredRNN的CSI和HSS值都比ConvLSTM大，说明PredRNN对于中高强度蓝藻爆发事件的预测效果好于ConvLSTM。结合现实情况考虑，中高强度蓝藻爆发会对水体和环境造成严重影响，是蓝藻治理需要关注的重点，故相比ConvLSTM而言，PredRNN添加的时空记忆状态M能有效增强网络时空表征的多样性，在保证较好的低强度蓝藻爆发预测能力的同时，可提升中高强度蓝藻爆发预测的精准度，实用意义更强。PredRNN的MSE比ConvLSTM的更小，说明基于PredRNN的蓝藻时空序列预测整体效果更好。为更加直观地展现3个模型的蓝藻爆发预测效果，本实验选取一个中高强度蓝藻爆发占比较大的蓝藻图像序列进行彩色化显示，定性评价结果如图7所示。根据节4.1中的预处理步骤（4），通过将灰度值大于等于阈值100、150和200的像素分别映射为绿色、橙色和红色，使得灰度蓝藻图像转换为彩色图像。同时，使用太湖区域的掩码图像将太湖水体区域凸显出来，即将太湖水体区域以外的像素映射为灰色，如图7所示。从可视化结果可直观看出，FC-LSTM的预测结果几乎没有时空变化，将其用于时空序列预测任务没有效果。从蓝藻预测序列整体上来看，PredRNN预测出的蓝藻演化图细节性更强，蓝藻爆发区域的轮廓演变更加贴近真实情况，而ConvLSTM对各强度蓝藻演化的预测显得比较激进和粗糙，不能很好地反映蓝藻的消散与聚集。特别对于图7中9:50的真实图像中两个蓝色方框所标注的区域，上方蓝框区域内的真实蓝藻演化趋势是逐渐消散，虽然ConvLSTM和PredRNN都预测出上方蓝框区域内的消散趋势，但ConvLSTM的预测有明显的滞后性，PredRNN预测出的消散趋势明显更加贴合真实情况。下方蓝框区域内的真实蓝藻演化趋势是逐渐出现聚集，且聚集的演变较为复杂，存在明显的非平稳变化。仔细观察可发现，ConvLSTM错误地将蓝藻演化趋势预测为消散，而PredRNN成功预测了蓝藻出现聚集的趋势。定性评价显示了3种模型应用于蓝藻时空序列预测的可视化结果，进一步说明了PredRNN对于蓝藻时空预测任务的有效性，能相对较好地预测出蓝藻未来的演化情况。图 7 定性评价结果 48 实 验 技 术 与 管 理 该实验方案设计检验了计算机视觉技术应用在水环境治理领域的可行性。5 结语“计算机视觉”课程是计算机相关专业的一门重要课程，学生需要掌握计算机视觉的基本理论和应用实践技术。针对这一课程目标，为了让学生更深入地掌握计算机视觉知识和Python程序设计语言，理解如何将计算机视觉技术应用到有现实需求的领域，本实验方案将PredRNN时空序列预测模型用于蓝藻预测这一具有先进性、典型性的现实需求，实验结果表明了使用PredRNN从时空序列预测角度解决蓝藻预测问题的可行性与实