2018精选版神经网络数学基础.ppt
《2018精选版神经网络数学基础.ppt》由会员分享,可在线阅读,更多相关《2018精选版神经网络数学基础.ppt(63页珍藏版)》请在咨信网上搜索。
1、神经网络的数学基础神经网络的数学基础1信号和权值向量空间信号和权值向量空间n将神经网络的输入、输出以及权值矩阵的将神经网络的输入、输出以及权值矩阵的行作为向量看待是非常有好处的。这些都行作为向量看待是非常有好处的。这些都是中的向量。是中的向量。是标准的是标准的n维欧基里维欧基里德空间德空间2线性向量空问线性向量空问3如图如图1 1所示。显然它是一个向量空间,并且对于向量加所示。显然它是一个向量空间,并且对于向量加和标量乘全部满足和标量乘全部满足1010个条件。个条件。的子集又将如何的子集又将如何?考虑图考虑图2 2中方框内的区域中方框内的区域x x。向量。向量x x和和y y在区域内,但是在区
2、域内,但是x+yx+y却可能不在的区域内。从这个例子可以看出,任何却可能不在的区域内。从这个例子可以看出,任何限定边界限定边界的集合都不可能是向量空间。的集合都不可能是向量空间。所有经过坐标轴原点的直线都满足上述所有经过坐标轴原点的直线都满足上述1010个条件。但个条件。但是,如果直线不经过坐标轴的原点,那么至少这种直线是,如果直线不经过坐标轴的原点,那么至少这种直线不能满足第不能满足第4 4个条件。个条件。4n如果已经习惯于将向量看作是一列数字,那么如果已经习惯于将向量看作是一列数字,那么这两个元素的确是奇怪的向量。但是请记住:这两个元素的确是奇怪的向量。但是请记住:一个集合只要满足上述一个
3、集合只要满足上述1010个条件,就可以被认个条件,就可以被认为是一个向量空间。为是一个向量空间。n例如考虑最高阶数小于或等于例如考虑最高阶数小于或等于2 2的多项式集合的多项式集合此集合的两个元素是:此集合的两个元素是:5由于两个连续函数的和仍然是一个连续函数,一个由于两个连续函数的和仍然是一个连续函数,一个标量乘以一连续函数仍然是一个连续函数,所以集标量乘以一连续函数仍然是一个连续函数,所以集合也是一个向量空间这个集合与前面讨论过的向量合也是一个向量空间这个集合与前面讨论过的向量空间不同,空间不同,它是无限维的它是无限维的。6线性无关线性无关线性无关与之相反,如果线性无关与之相反,如果当且仅
4、当每个均等于零,那么称其是一组线性无关当且仅当每个均等于零,那么称其是一组线性无关的向量。注意这些定义实际上等价于:如果一个向的向量。注意这些定义实际上等价于:如果一个向量集合是无关的,那么这个集合中的任何向量都不量集合是无关的,那么这个集合中的任何向量都不能表示成该集合中其他向量的线性组合。能表示成该集合中其他向量的线性组合。7生成空间生成空间X的基集是由生成它的线性无关的向量所组成的集合。的基集是由生成它的线性无关的向量所组成的集合。任何基集包含了生成空间所需要的最少个数的向量。任何基集包含了生成空间所需要的最少个数的向量。X的维数就等于基集中元素的个数。任何向量空间都可以的维数就等于基集
5、中元素的个数。任何向量空间都可以有多个基集,但每一个基集都必须包含有多个基集,但每一个基集都必须包含相同数目的元素相同数目的元素。89内积内积10范数范数11正交性正交性12向量展开式向量展开式13互逆基向量互逆基向量n如果需要向量展开式,而基集又不是正交的,如果需要向量展开式,而基集又不是正交的,那么就必须引人下列等式所定义的互逆基底:那么就必须引人下列等式所定义的互逆基底:14151617181920由此可以看出,当要用一列数由此可以看出,当要用一列数字表示一个一般向量时,必须字表示一个一般向量时,必须知道其向量展开式所采用的基知道其向量展开式所采用的基集是什么。在如果没有特殊说集是什么。
6、在如果没有特殊说明,那么假设所采用的都是标明,那么假设所采用的都是标准基集。准基集。21Gram矩阵矩阵只是向量个数比这些向量的原始空间中向量个数要少只是向量个数比这些向量的原始空间中向量个数要少(R(R4 4空间中的空间中的3 3个向量个向量)。在这种情况下,由这。在这种情况下,由这3 3个向量所个向量所构成的矩阵不再是一个方阵,所以不能计算其行列式的构成的矩阵不再是一个方阵,所以不能计算其行列式的值。可以采用称为值。可以采用称为GramGram的方法,这种方法按可以求出一的方法,这种方法按可以求出一个矩阵的行列式,矩阵的第个矩阵的行列式,矩阵的第i i行第行第j j列的元素是向量列的元素是
7、向量i i和和向量向量j j的内积。的内积。这些向量是线性相关的当且仅当这些向量是线性相关的当且仅当G G矩阵的矩阵的行列式为零。行列式为零。2223 神经网络中的线性变换神经网络中的线性变换n诸如特征值、特征向量和基变换等基本诸如特征值、特征向量和基变换等基本概念,这些概念对理解一些诸如性能学概念,这些概念对理解一些诸如性能学习习(反传学习算法反传学习算法)以及以及HopfieldHopfield网络的网络的收敛特性等神经网络关键课题是十分重收敛特性等神经网络关键课题是十分重要的。要的。24线性变换线性变换n变换:一个变换由三部分组成变换:一个变换由三部分组成25旋转变换旋转变换两个向量之和
8、的旋转两个向量之和的旋转伸缩向量的变换伸缩向量的变换26矩阵表示矩阵表示n可以证明两个有限维向量空间之间的任可以证明两个有限维向量空间之间的任何线性变换都可以用一个矩阵来表示何线性变换都可以用一个矩阵来表示(这这和在有限维的向量空间中的任何一个向和在有限维的向量空间中的任何一个向量可以用一个数列来表示是一样的量可以用一个数列来表示是一样的)。请记住:与一般向量的数列表示形式并不是请记住:与一般向量的数列表示形式并不是惟一的类似,一个变换的矩阵表示也不是惟惟一的类似,一个变换的矩阵表示也不是惟一的。如果改变定义域或值域的一的。如果改变定义域或值域的基集基集,那么,那么变换的矩阵表示也会随之改变。
9、变换的矩阵表示也会随之改变。27n以旋转变换为例,来讨论变换的矩阵表示,以旋转变换为例,来讨论变换的矩阵表示,看看如何找到该变换的矩阵表示。看看如何找到该变换的矩阵表示。28可以看到展式中的两个系数就是的矩阵中的第一列。可以看到展式中的两个系数就是的矩阵中的第一列。29从展式中可以得到矩阵表示中的第二列。所以,从展式中可以得到矩阵表示中的第二列。所以,完整的矩阵表示可以由下式:完整的矩阵表示可以由下式:30特征值和特征向量特征值和特征向量n考虑一个线性交换:考虑一个线性交换:(定义域和值域相同定义域和值域相同)。分别称满足下式的那些不等于分别称满足下式的那些不等于0 0的向量和标量分别是特的向
10、量和标量分别是特征向量和特征值征向量和特征值:n请注意,特征向量实际上并不是一个真正的向量,而请注意,特征向量实际上并不是一个真正的向量,而是一个向量空间是一个向量空间。所以,给定变换的一个特征向量表。所以,给定变换的一个特征向量表示一个方向,当对任何取该方向的向量进行变换时,示一个方向,当对任何取该方向的向量进行变换时,它们都将继续指向相同的方向,仅仅是按照特征值对它们都将继续指向相同的方向,仅仅是按照特征值对向量的长度进行缩放。向量的长度进行缩放。31如果某个变换有如果某个变换有n n个不同的特征值,则可以保证得个不同的特征值,则可以保证得到该变换到该变换n n个线性无关的特征向量,因此特
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 2018 精选 神经网络 数学 基础
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【精****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【精****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。