T_CI 155-2023 基于多模态大模型的智慧交通出行技术规范.docx
《T_CI 155-2023 基于多模态大模型的智慧交通出行技术规范.docx》由会员分享,可在线阅读,更多相关《T_CI 155-2023 基于多模态大模型的智慧交通出行技术规范.docx(16页珍藏版)》请在咨信网上搜索。
1、ICS35.240.99CCSL 73 团体标准T/CI 1552023基于多模态大模型的智慧交通出行技术规范Technical specifications for intelligent transportation based on multimodal large models2023 - 09 - 28 发布2023 - 09 - 28 实施中国国际科技促进会发 布目次前言II1 范围12 规范性引用文件13 术语和定义14 缩 略语15 基于多模态大模型的智慧交通出行技术框架26 数据采样与建模融合27 多模态机器学习大模型48 基于机器学习的智慧出行多模态大模型应用场景11前言本
2、文件按照GB/T 1.12020标准化工作导则 第1部分:标准化文件的结构和起草规则的规定起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由南方科技大学提出。 本文件由中国国际科技促进会归口。 本文件起草单位:南方科技大学、长春理工大学、中国第一汽车集团有限公司、北京大学、华为技术有限公司、浪潮通用软件有限公司、同济大学、中国检验认证集团深圳有限公司、中山大学、天津大学、上海理工大学、北京交通大学、重庆大学、北京嘀嘀无限科技发展有限公司、北京高科中创科学技术中心、深圳市骏嘉科技发展有限公司、深圳市铠硕达科技有限公司、深圳浑沌数字化实验室科技有限公司、深圳
3、树米网络科技有限公司、汕头大学、吉林省卡思特科技有限公司、吉林省中云数讯股份有限公司、超智研发中心(深圳)有限公司、碳猎研发中心(深圳)有限公司、深圳安视信息技术有限公司、苏州奇盈半导体科技有限公司、维旭长电科技(深圳)有限公司。 本文件主要起草人:宋 轩、陈纪元、王宏俊、杨华民、王兴山、赵卫东、朱金波、谢洪彬、张浩然、张家祺、冯德帆、宋 歌、张嘉晖、李昊洋、吴季泫、陈孙兵、陈天乐、张凌宇、由林麟、胡清华、刘振栋、金 一、李浥东、贾云健、吴国斌、王潇、梁舰、张 昕、宋小龙、刘 妍、周时莹、李长龙、孙宗姚、王中一、谢 奕、高 亮、陈 欣、陈 瑶、袁 飞。 基于多模态大模型的智慧交通出行技术规范1
4、 范围本文件确立了智慧交通出行技术的数据采样、数据预处理、多模态大模型流程逻辑,描述了智慧交通出行应用场景,并提出了性能评估指标要求。 本文件适用于基于机器学习的智慧交通出行技术平台建设,以及多模态信息融合智慧交通大模型应用。 2 规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文件, 仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。 GB/T 5271.34-2006 信息技术 词汇 第34部分:人工智能 神经网络GB/T 34678-2017 智慧城市 技术参考模型 GB/T 35295-201
5、7 信息技术 大数据 术语GB/T 37043-2018 智慧城市 术语 GB/T 41867-2022 信息技术 人工智能 术语 3 术语和定义GB/T 5271.34-2006、GB/T 34678-2017、GB/T 35295-2017、GB/T 37043-2018、GB/T 41867-2022界定的以及下列术语和定义适用于本文件。 3.1邻接矩阵 adjacent matrix用以表示交通图数据中不同节点的空间相关性权重的二维正方形矩阵。 3.2欧式距离 euclidean符合现实物理世界定义的距离评判标准。 3.3注意力机制 attention mechanism通过额外的神经
6、网络参数控制网络关注点的一种手段。 3.4周期学习率 cyclic learning rate对神经网络学习率的一种调整手段。 3.5随机失活 dropout对神经网络神经元进行随机失活的一种手段。 4 缩略语下列缩略语适用于本文件。 GPS: 全 球 定 位 系 统 (Global Positioning System) RNN:循环神经网络(Recurrent Neural Network) LSTM:长短期记忆网络(Long Short-Term Memory) CNN:卷积神经网络(Convolutional Neural Network) RMSE:均方根误差(Root Mean S
7、quare Error) APE:平均绝对百分比误差(Mean Absolute Percentage Error) GCN:图卷积网络(Graph Convolutional Network) 5 基于多模态大模型的智慧交通出行技术框架以多模态大模型为基础的智慧出行技术规范中包含了数据采样层、数据预处理层和多模态机器学习层,技术体系具体见图1。多模态大模型融合了多种数据来源,在知识掌握中有着更加全面的认识。该规范符合现代技术的要求和常规流程,可以为与广大人民群众日常生活紧密相连的如规划行程路线,选择交通方式,避开拥堵地段等等应用提供一个完整、统一、规范的标准,为智慧城市面临的挑战提供智能化和
8、科学化的支持。 图1 基于多模态大模型的智慧交通出行技术体系6 数据采样与建模融合6.1 数据采样来源6.1.1 道路信息数据包括路网结构,各种交通政策和规则,如道路限速、禁行规定、停车规定、高峰期限行规定等对于交通模型的构建和优化都很重要的数据。 6.1.2 土地使用模式数据土地使用模式(比如住宅区、商业区、工业区的分布)可以影响人们的出行需求和路径选择,因此也需要收集和分析这类数据。 6.1.3 GPS 追踪数据汽车和移动设备的GPS数据可以用于实时交通流量监测和预测,路线规划,以及对共享出行服务的需求预测。 6.1.4 公共交通数据公共交通数据主要包括公交车、火车、电车等公共交通工具的时
9、刻表和实时运营数据,可以用于优化公共交通服务,改善出行体验。共享单车、共享汽车、拼车服务等提供商的数据,可以用于需求预测、价格优化和服务改进。 6.1.5 交通传感器数据道路上的交通传感器可以提供实时的交通流量、车辆速度、交通灯状态等信息,用于交通管理和预测。 6.1.6 遥感数据卫星遥感图像可以提供大范围的地表覆盖情况和道路网络信息(如山丘、河流、湖泊、桥梁等,可能会影响交通路线的选择和交通条件),也可以用于监测交通流量和拥堵情况。 6.1.7 新闻数据与交通有关的新闻(广播)数据可以提供各路段的拥堵以及事故情况,可以帮助大模型实时修正预测结果。 6.1.8 社交媒体数据社交媒体如微博数据可
10、以提供各处民众对于交通情况的实时观测,可以帮助大模型实时修正预测结果。 6.1.9 移动应用数据像高德地图和滴滴打车这样的移动应用生成的数据,如用户的搜索和出行记录,可以提供用户个性化的丰富的出行行为信息。 6.1.10 物联网数据如车载传感器、智能信号灯、智能停车场等IoT设备生成的数据,可以提供实时的交通状态信息。 6.1.11 天气数据天气条件可以影响人们的出行模式和需求,因此天气数据也是一个重要的数据来源。 6.1.12 空气质量数据空气质量数据也可以用于智能路线规划。例如,智慧交通系统可以建议用户避开空气质量差的区域, 选择空气质量较好的路线。 6.2 数据建模融合6.2.1 数据清
11、洗数据清洗主要是去除噪音和异常值,处理缺失值,纠正错误和不一致的数据。例如: a) GPS 数据可能存在定位错误的情况,需要去除错误的GPS 定位点,如距离过远或速度异常的点; b) 交通传感器数据也需要除去传感器故障导致的异常值; c) 对于土地使用模式数据我们需要去除无效或不一致的数据,比如土地分类错误的区域; d) 对于图像数据我们可以删除质量低的图像,例如模糊的图像; e) 对于文本数据,删除不需要的字符(如特殊字符,数字等),将文本转换为小写,处理缩写等则是常用的数据清洗手段。 6.2.2 数据聚合数据聚合主要服务于轨迹数据,如基于时间和/或空间将GPS点聚合到更高级别的单元,如路段
12、或网格。这方面的常用方法是FMM(Fast Map Matching),FMM可以在不同精度条件下将稀疏的GPS点聚合到路网上。 ,工业区编码为3等。常用的编码方法有标签编码(Label Encoding)和独热编码(One-Hot Encoding)。 a) 标签编码(Label Encoding)是一种常见的特征处理方法,它将分类变量( Categorical 值,Variables)转换为数字,从而方便机器学习算法处理。具体来说,标签编码将每个不同的分类值赋予一个唯一的整数标签。标签编码的优点是简单易实现,适用于一些算法的输入要求为数字的情况; b) 独热编码(One-Hot Encod
13、ing)是一种常见的特征处理方法,用于将分类变量(Categorical Variables)转换为数字,以便机器学习算法处理。独热编码的优点是可以处理分类变量,并且不会引入任何顺序偏差。此外,在某些机器学习算法中,独热编码也可以改善模型的性能。 6.2.4 特征工程特征工程是机器学习中的重要步骤,它涉及到从原始数据中提取有用的信息,将这些信息转化为对机器学习模型有用的特征。对于交通数据来说,原始的GPS数据可能包含了位置、时间等信息。然而, 这些原始数据对于机器学习模型来说并不直接可用。因此,我们需要通过特征工程从中提取出对目标任务有意义的特征,例如行驶速度和行驶方向。这样的特征可以通过计算
14、两个相邻的GPS点之间的距离和角度得到。对于社交媒体数据,原始的文本数据也并不能直接用于机器学习模型。我们可以通过对文本进行处理,如分词、词干化、词袋或TF-IDF转换等,将文本数据转化为机器可以理解的形式。此外,还可以通过情感分析提取出文本的情感倾向,或者通过关键词提取找出文本的主题。图像数据同样也需要进行特征工程。在智慧交通的背景下,我们可能需要从图像中提取出车辆和行人的位置,以及他们的行为。这可以通过图像识别和目标检测等技术实现。 6.2.5 数据归一化数据归一化是一种预处理技术,主要用于改变数据的尺度,使其落入一个小的、特定的区间(如 0,1 或 -1,1)。在机器学习和数据挖掘中,数
15、据归一化的主要目的和作用有:消除量纲影响,加快学习速度,提高模型精度,使数据更接近正态分布,提高模型的泛化能力。常用的数据归一化算法有如下两 种。 a) z-score 均值化是一种常见的特征缩放方法,也叫标准化(Standardization),它将原始数据进行线性变换,使得变换后的数据满足均值为 0,标准差为 1 的正态分布。这种方法可以使得不同特征的数据具有相同的尺度,从而方便机器学习算法处理。z-score 均值化的具体方法是:对于每个特征,计算其所有样本的均值和标准差,然后将该特征的每个样本数值减去均值,再除以标准差; b) 线性归一化(也称为 Min-Max Scaling)是一种
16、常见的特征缩放方法,它将原始数据进行线性变换,使得变换后的数据在一定范围内,通常是0,1或-1,1之间。这种方法可以使得不同特征的数据具有相同的尺度,从而方便机器学习算法处理。线性归一化的具体方法是:对于每个特征,计算其所有样本的最小值和最大值,然后将该特征的每个样本数值减去最小值, 再除以最大值和最小值之差。 7 多模态机器学习大模型7.1 特征编码方法7.1.1 特征编码必要性在构建多模态融合大模型时,需要使用适当的编码器将来自不同模态的数据转化为适合模型处理的形式。不同类型的数据具有不同的特性,因此需要使用不同的方法来提取其特征。 7.1.2 全连接网络全连接网络(Fully Conne
17、cted Network,FCN)是神经网络中的一种类型,也被称为密集连接网络或多层感知机(Multi-layer Perceptron,MLP)。在全连接网络中,每一层的每个节点都与上一层的所有节点相连接。这就意味着,网络中的信息在传播过程中会完全通过每一层的所有节点。全连接网络是深度学习中最基本的网络结构,尽管在许多复杂任务(如图像识别或自然语言处理)中,其他更复杂的网络结构(如卷积神经网络或循环神经网络)可能会有更好的性能,但全连接网络仍然在许多简单任务中表现出色,并且常常被用作其他网络的组成部分。例如,在一个典型的卷积神经网络中,全连接层通常被用作最后一层,以生成最终的预测结果。 7.
18、1.3 卷积神经网络卷积神经网络(Convolutional Neural Network,CNN)是一种特殊类型的人工神经网络,它在图像处理和计算机视觉任务中尤其有用。CNN的主要特点是使用卷积层来自动学习空间数据的局部特征, 这使得CNN对图像识别等任务非常有效。一个典型的卷积神经网络由以下几种类型的层组成:卷积层, 激活层和池化层。卷积神经网络的一个关键优点是它可以利用空间数据的局部性质。在图像或视频等数据中,相邻的像素通常具有高度的相关性,因此可以用一个卷积核在整个数据上共享,大大减少了模型的参数数量。这使得CNN比全连接网络在处理大规模空间数据时更加有效和高效。 7.1.4 循环神经
19、网络循环神经网络(Recurrent Neural Network,RNN)是一类用于处理序列数据的神经网络。与前馈神经网络(如全连接网络和卷积神经网络)不同,循环神经网络在模型结构中引入了循环,使得网络能够处理长度可变的序列输入,并保持对序列中过去信息的记忆。尽管循环神经网络理论上能够处理任意长度的序列,但在实践中,它们常常会遇到长期依赖问题模型难以学习到输入序列中距离当前时间步较远的信息。为了解决这个问题,研究者们提出了各种改进的循环神经网络结构,如长短期记忆网络(Long Short-Term Memory,LSTM)和门控循环单元(Gated Recurrent Unit,GRU)。循
20、环神经网络在许多任务上都表现出色,包括语言建模、文本生成、机器翻译、语音识别、时间序列预测等。 7.1.5 TransformerTransformer是一种使用自注意力机制和位置编码的神经网络架构,适用于自然语言处理任务。它解决了传统神经网络模型在处理序列数据时的一些限制,能够处理长距离依赖关系并具备更好的并行计算能力。在Transformer中,输入序列被分别编码成两个向量:查询(query)向量和键值对(key-value pairs)向量。通过计算查询向量和键值对之间的注意力得分,可以为每个查询分配与之相关的值。另外,Transformer还引入了位置编码,用于为输入序列中的每个位置赋
21、予一个相对或绝对位置信息。位置编码可以帮助模型理解输入序列中不同位置的相对距离和顺序。 7.1.6 EmbeddingEmbedding层是一种将离散的输入(如词或标记)映射到连续向量空间中的技术。它将输入的离散符号转换为密集的实数向量,使得神经网络能够更好地处理和学习输入数据的语义信息。Embedding层的目标是学习出一种表示,使得具有相似语义的符号在向量空间中更加接近。这样,模型可以利用向量之间的距离或相似度来捕捉输入之间的语义关系。Embedding层的好处是能够将高维的离散输入转换为低维的连续向量,从而减少了输入空间的维度,并且能够更好地表达和处理输入数据的语义信息。它在自然语言处理
22、、推荐系统、图像处理等领域中被广泛应用。 7.1.7 (时空)图神经网络7.1.7.1 图卷积神经网络:传统的卷积神经网络只能处理欧式数据类型,而非欧式的图关系在现实中 变得越来越常见,为处理非欧式数据计算设计的图卷积网络非常适合各类交通数据。图卷积计算方法主 要有谱域图卷积和空域图卷积。谱域图卷积的定义为通过从图信号处理的角度引入滤波器来定义图卷积, 其中图卷积运算被解释为从图信号中去除噪声。空域图卷积的定义为通过图卷积公式从邻居节点聚合节 点特征。 交通数据的空间关系复杂,也使得图卷积网络从普通构造逐渐发展演变出多种变体: a) 单图卷积:最初始发展出的谱域图卷积或者空域图卷积版本; b)
23、 多图卷积:多种邻接矩阵作为图的空间表示,多个图卷积模块提取特征后聚合特征; 习长远距离的图节点也有机会参与到空间特征提取过程中; e) 动态自适应多图卷积:集成了多图策略,自适应学习策略和图卷积的一种综合体; 意f) 偏微分图卷积:上述各类图卷积仅仅是考虑的空间层面的影响,未考虑到不同时间片的状态使影响。引入偏微分使得不同时间片的图卷积操作可以上下文呼应,使得图卷积也变得可以持续学习。 7.1.7.2 图生成神经网络(Graph Generative Neural Network)是一类基于深度学习的图生成模型, 用于生成符合特定条件的图结构。与传统的图生成方法相比,图生成神经网络能够自动学
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- T_CI 155-2023 基于多模态大模型的智慧交通出行技术规范 155 2023 基于 多模态大 模型 智慧 交通 出行 技术规范
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【Fis****915】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【Fis****915】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。