一类拟插值Kantorovich型神经网络算子的估计_项承昊.pdf

第5 7卷第2期华中师范大学学报(自然科学版)V o l.5 7 N o.22 0 2 3年4月J OUR NA LO FC E N T R A LCH I NANO RMA LUN I V E R S I T Y(N a t.S c i.)A p r.2 0 2 3收稿日期:2 0 2 1-0 9-3 0.基金项目:国家自然科学基金项目(1 1 6 0 1 1 1 0).*通信联系人.E-m a i l:z h a o y i h z n u.e d u.c n.D O I:1 0.1 9 6 0 3/j.c n k i.1 0 0 0-1 1 9 0.2 0 2 3.0 2.0 0 2文章编号:1 0 0 0-1 1 9 0(2 0 2 3)0 2-0 1 9 5-0 6一类拟插值K a n t o r o v i c h型神经网络算子的估计项承昊,赵 易*(杭州师范大学数学学院,杭州3 1 1 1 2 1)摘 要:该文在神经网络算子理论中的M a x-p r o d u c t型算子和K a n t o r o v i c h型算子的基础上,构造了一种由S i g m i o d a l函数激发的拟插值型的神经网络算子,考虑了其对实数域上非负连续函数的点态逼近和一致逼近,并给出了其在Lp+()空间上的逼近定理.关键词:神经网络算子;K a n t o r o v i c h型算子;M a x-p r o d u c t型算子;逼近中图分类号:O 1 7 4.4 1文献标志码:A开放科学(资源服务)标志码(O S I D):近来,许多文献1-5对如下形式的神经网络算子进行了研究:Nn(f,x)=n bk=n afkn(n x-k)n bk=n a(n x-k),xa,b,这里,f(x)是a,b 上的有界可测函数,和分别表示一个给定数的向上取整和向下取整的 数 值,例 如:2.5=3,2.5=2.而(x):称为上的S i g m o i d a l型函数,即l i mx-(x)=0,l i mx+(x)=1.而(x)由(x)激发6,是由(x)经过以下形式平移的线性组合得到的,定义如下:(x)=12(x+1)-(x-1),x.如L o g i s t i c函数是一类常见的S i g m o i d a l型函数,(x)=11+e-x,如图1所示,由其激发的(x)常被称为“钟型函数”(这一名称由C a r d a l i a g u e t和E u v r a r d在文献7中给出).对于在定义域上可连续求导的函数f,文献8将Nn(f,x)表达式中分子分母的n bk=n a改作nk=-n,构造了一种新的算子,建立了相关的V o r o n o v s k a j a型图1 L o g i s t i c函数(x)=11+e-xF i g.1 L o g i s t i c f u n c t i o n(x)=11+e-x图2(x)=12(x+1)-(x-1)F i g.2(x)=12(x+1)-(x-1)1 9 6 华中师范大学学报(自然科学版)第5 7卷定理.进而,为了逼近定义在上的函数,文献9构造了拟插值型的神经网络算子,即N(Q)n(f,x)=kfkn(n x-k)k(n x-k),x,其中,R a m p函数作为一类特殊的S i g m o i d a l函数,其形 式 相 对 简 单,C o s t a r e l l i1 0定 义 了 如 下 的R a m p函数:(x)=0,x-1/2;x+1/2,-1/2x1/2;1,x1/2,并构造了一种新的神经网络插值型算子,Fn(f,x)=nk=0f(xk)n(x-xk)b-ank=0n(x-xk)b-a,xa,b,这里,f:a,b 为有界可测函数,xknk=0为一组等步长的结点组,即xk=a+kb-an,k=0,1,n.事实上,Fn(f,x)在结点xknk=0上插值于f(x),且Fn(f,x)对连续函数f的逼近阶亦可得到估计.之后,又有学者将算子中的符号改成,得到了N(M a x-P r o d u c t)n(f,x)=n bk=n afkn(n x-k)n bk=n a(n x-k),xa,b,这里,对于集合Ak,符号kJAk=s u pAk,kJ,J;这一调整将原来的线性算子转变成了非线性算子,虽算子不再具备插值性质,但其对正连续函数的逼近阶得到了提高.在一些实际应用中,由于有时输入的信号有抖动和偏移的情况,反映在具体数值方面,f(k/n)的值会 存 在 一 定 的 误 差.为 此,可 将f(k/n)用n(k+1)/nk/nf(u)du取代,构造K a n t o r o v i c h型的神经网络算子,以削弱抖动或漂移造成的影响.于是,C o s t a r e l l i1 1构造了如下的算子:Kn(f,x)=n bk=n an(k+1)/nk/nf(u)du(n x-k)n bk=n a(n x-k),xa,b,并且考虑函数f(x)的模收敛情况1 2.同时在文献1 3中,作者给出了Kn(f,x)有关K-泛函的估计.本文在该算子的基础上,构造其拟插值型的算子K(Q)n(f,x),证明了其相关的逼近定理,并给出了Lp空间上的相关估计.1预备符号和标识定义1 令f(x):+为非负有界的可积函数,定义K a n t o r o v i c h型的拟插值神经网络算子为:K(Q)n(f,x)=kn(k+1)/nk/nf(u)du(n x-k)k(n x-k),x.本文考虑(x)为上的单调递增函数,使得(4)(2),并具有以下性质:1)h(x)=(x)-1/2为奇函数;2)1,(x)=O(|x|-),x-.(x)的许多性质1,1 1也被证明过,其中与本文有关的结果罗列如下.引理1(i)x,(x)0,特别地,(3)0;(i i)(x)是上的偶函数;(i i i)x0,l i mn+|x-k|n(x-k)=l i mn+|x-k|n(x-k)=0;(i i)k(n x-k)(3)0.证 明 在 1 中,有 结 论 0,l i mn+|x-k|n(x-k)=0,利用极限的迫敛性,结合0|x-k|n(x-k)|x-k|n(x-k),可得l i mn+|x-k|n(x-k)=l i mn+|x-k|n(x-k)=0.故(i)得证.而对于(i i),根据的定义和n x-k 可知,对于x,(x)不会超过k(n x-k),故(i i)得证.为了方便后面的算子估计,事先给出一阶连续模和广义绝对矩的定义.定义2 若f(x)在区间I(可有限或无限)上有定义,则对于t0,定义f(x)的连续模(f,t)为:第2期项承昊等:一类拟插值K a n t o r o v i c h型神经网络算子的估计1 9 7 (f,t)=(t)=s u px,yI,|x-y|t|f(x)-f(y)|,t0.易证,连 续 模(t)具 有 半 可 加 性1 4,即 对于0,(f,t)(1+)(f,t).定义31 3(x)的阶(0)广义绝对矩定义为m()=s u pxk(x-k)|x-k|.2主要结论本文构造的算子虽然并非线性,但仍具有一些良好的性质.后续证明算子K(Q)n(f,x)对f(x)的收敛情况中会用到如下相关性质,其证明易由K(Q)n(f,x)的定义直接得到.命题1 f,g:+为有界函数,则当n+充分大时,有:(i)(x)在上连续K(Q)n(f,x)在上连续;(i i)x,f(x)g(x)K(Q)n(f,x)K(Q)n(g,x),x;(i i i)K(Q)n(f+g,x)K(Q)n(g,x)+K(Q)n(f,x),x;(i v)|K(Q)n(g,x)-K(Q)n(f,x)|K(Q)n(|f-g|,x),x;(v)对 于 常 数 0,有K(Q)n(f,x)=K(Q)n(f,x),x;(v i)f1时,有K(Q)n(f,x)=1,x.定理1 若f:+为有界函数,且在某点x 上连续,则有l i mn+K(Q)n(f,x)=f(x).进一步,若fC+(),则有l i mn+K(Q)n(f,)-f()=0,这里,C+()指上的非负连续函数全体.证明 只证明第一个式子,第二个式子可类似证明.由于f在x点处连续,故对0,0,使得对所有的yx-,x+,有|f(x)-f(y)|n/2nk+1nkn|f(u)-f(x)|du(n x-k)=1(3)m a x(I1,I2).因此,当n+充分大时,|u-x|n/2nk+1nkn2 fdu(n x-k)0,n+.因此定理得证.推论1 fC+(),且f(x)满足Ho l d e r连续性,即M0,(f,t)Mt,(0,1,则K(Q)n(f,)-f()=O(n-).证明 不妨定义f(x)=x(t),t,有|K(Q)n(f,x)-f(x)|K(Q)n(f,x)-x(t)|K(Q)n|f-x(t)|,x()1(3)knk+1nkn|f(u)-f(x)|du(n x-k),则|K(Q)n(f,x)-f(x)|1(3)knk+1nkn(f,|u-x|)du(n x-k)1(3)knk+1nkn(1+n|u-x|)f,1ndu(n x-k)1(3)f,1nk(n x-k)+kn2k+1nkn|u-x|du(n x-k)1(3)f,1nk(n x-k)+kn2k+1nknu-kn+kn-xdu(n x-k),1 9 8 华中师范大学学报(自然科学版)第5 7卷根据(x)的性质和一阶广义绝对矩的定义,有k(n x-k)(0),且(0)12(1-0)=12;k(n x-k)|n x-k|=m a x|n x-k|1,|n x-k|1(n x-k)|n x-k|m a x1|x-k|1(n x-k),|x-k|1(n x-k)|n x-k|(0),由此得到|K(Q)n(f,x)-f(x)|1(3)f,1n12+12k(n x-k)+m1()5 f,1n4(3)=K f,1n=O(n-).故推论得证.K(Q)n(f,x)在C+()上的逼近定理得到证明之后,可考虑该算子在p次可积非负函数空间上的估计,并给出了相关的引理和定理.引理3 对于Lp+()上的函数f(x),0,存在函数序列gm(x)C+(),使得m 充分大时,|f(x)-gm(x)|在上a.e.成立,且K(Q)n(f,)-K(Q)n(gm,)p1(3)f()-gm()p,这里,Lp+()是指上的p次可积非负函数全体.证明 gm+m=1的存在性利用L u s i n定理(见文献1 5 中的T h e o r e m1 7 4)即可证得.根据p的定义f()p=(|f(x)|pdx)1/p可知K(Q)n(f,)-K(Q)n(gm,)p=|K(Q)n(f,x)-K(Q)n(gm,x)|pdx()1/pK(Q)n(|f-gm|,x)pdx()1/p1(3)k(nk+1nkn|f(u)-gm(u)|du)(n x-k)pdx1p.由|f(x)-gm(x)|在R上a.e.成立,可知nk+1nkn|f(u)-gm(u)|du=o(1).而对于一非负无穷小量ak=o(1),k+,容易得到下面的不等式:(kak)p=(kJak)pkJapk kapk,这里,J是整数集的某一有限子集.于是有K(Q)n(f,)-K(Q)n(gm,)p1(3)knk+1nkn|f(u)-gm(u)|du(n x-k)()pdx1/p1(3)k(n x-k)nk+1nkn|f(u)-gm(u)|du()pdx1/p,由于xp(1p+)在0,+)上为凸函数,故由J e n s e n不等式得到:K(Q)n(f,)-K(Q)n(gm,)p1(3)k(n x-k)dxnk+1nkn|f(u)-gm(u)|pdu1/p1(3)k(n x-k)dxnk+1nkn|f(u)-gm(u)|pdu1/p1(3)k(y)d ynk+1nkn|f(u)-gm(u)|pdu1/p1(3)(y)d yknk+1nkn|f(u)-gm(u)|pdu1/p,其中有变量代换x=(y+k)/n,由引理1的(i i i)和(i v),易证(x)在上可积,且利用F o u r i e r变换1 6,可知(y)dy=1,故K(Q)n(f,)-K(Q)n(gm,)p1(3)f()-gm()p.引理得证.文献1 7-1 8给出了K-泛函的定义,但传统的K-泛函通常针对有限区间里的函数.对于无限区间,可针对新的算子给出类似K-泛函的估计.定理3 假设fLp+(),1p0,使得t0,第2期项承昊等:一类拟插值K a n t o r o v i c h型神经网络算子的估计1 9 9 有f(t+)-f()p=(|f(x+t)-f(x)|pdx)1/pL|t|,K(Q)n(f,x)为定义1中的算子,则对充分大的n+,以下式子在上几乎处处成立:K(Q)n(f,)-f()pi n fgSf()C1+21np-1pf-gp+C21n2p-1pL,其中,Sf()是指满足引理3中证得存在性的实轴上非负连续函数全体.C1=1(3)+1,C2=34(3).证明 m充分大时,取m0m时,满足引理3条件的gm0Sf().记hx(t)=gm0(x+t),有gm0-hxp=|gm0(x+t)-gm0(x)|pdx()1p|gm0(x+t)-f(x+t)|pdx()1p+|f(x+t)-f(x)|pdx()1p+|f(x)-gm0(x)|pdx()1p2f-gm0p+L|t|在上a.e.成立.同时,根据引理3,有K(Q)n(f,)-f()pK(Q)n(f,)-K(Q)n(gm0,)p+K(Q)n(gm0,)-gm0()p+gm0()-f()p1+1(3)gm0()-f()p+K(Q)n(gm0,)-gm0()pK(Q)n(|gm0-hx|,x)+1+1(3)gm0()-f()p,由Ho l d e r不等式知k+1nkn|gm0(x)-gm0(u)|duk+1nkn|gm0(x)-gm0(u)|pdu()1/pk+1nkn1qdu()1/q|gm0(x)-gm0(u)|pdu()1/p1nq2gm0-fp+L|x-u|1np-1p,这里,1p+1q=1,根据算子K(Q)n(f,x)的性质,可知K(Q)n(|gm0-hx|,x)L1np-1pK(Q)n(|x-t|,x)+2f-gm0p1np-1pK(Q)n(1,x)=L1np-1pknk+1nkn|x-u|du(n x-k)k(n x-k)+2f-gm0p1np-1pL(3)1np-1pknk+1nknx-kndu(n x-k)+nk+1nknkn-udu(n x-k)+2f-gm0p1np-1pL(3)1np-1pk|n x-k|(n x-k)+12nk(n x-k)+2f-gm0p1np-1pLn(3)1np-1pm1()+12m0()+2f-gm0p1np-1p.于是,K(Q)n(|gm0-hx|,x)1n2p-1p3L4(3)+2f-gm0p1np-1p.整理可得K(Q)n(f,)-f()pi n fgSf()C1+21np-1pf-gp+C21n2p-1pL,定理得证.注:从定理3的结果可以看出,若函数f定义在测 度 有 限 的 区 间 上,则f-gp有 限,K(Q)n(f,x)可在Lp+意义下一致收敛到f(x).参考文献:1 C O S T A R E L L ID,S P I G L E RR.A p p r o x i m a t i o nr e s u l t sf o r2 0 0 华中师范大学学报(自然科学版)第5 7卷n e u r a ln e t w o r ko p e r a t o r sa c t i v a t e db ys i g m o i d a lf u n c t i o n sJ.N e u r a lN e t w o r k s,2 0 1 3,4 4:1 0 1-1 0 6.2 ANA S T A S S I OUGA.U n i v a r i a t eh y p e r b o l i ct a n g e n tn e u r a ln e t w o r ka p p r o x i m a t i o nJ.M a t h e m a t i c a la n d C o m p u t e rM o d e l l i n g,2 0 1 1,5 3(5-6):1 1 1 1-1 1 3 2.3 ANA S T A S S I OU G A.M u l t i v a r i a t e h y p e r b o l i c t a n g e n tn e u r a l n e t w o r k a p p r o x i m a t i o nJ.C o m p u t e r s a n dM a t h e m a t i c sw i t hA p p l i c a t i o n s,2 0 1 1,6 1(4):8 0 9-8 2 1.4 ANA S T A S S I OUGA.M u l t i v a r i a t e s i g m o i d a l n e u r a ln e t w o r ka p p r o x i m a t i o nJ.N e u r a lN e t w o r k st h e O f f i c i a lJ o u r n a l o f t h eI n t e r n a t i o n a lN e u r a lN e t w o r kS o c i e t y,2 0 1 1,2 4(4):3 7 8-3 8 6.5 ANA S T A S S I OU G A.I n t e l l i g e n ts y s t e m s:a p p r o x i m a t i o nb y a r t i f i c i a l n e u r a l n e t w o r k sM.B e r l i n:I n t e l l i g e n tS y s t e m sR e f e r e n c eL i b r a r y,2 0 1 1.6 C HE N Z,C A O F,Z HA O J.T h e c o n s t r u c t i o n a n da p p r o x i m a t i o n o f s o m e n e u r a l n e t w o r k s o p e r a t o r sJ.A p p l i e d M a t h e m a t i c s-A J o u r n a lo f C h i n e s e U n i v e r s i t i e s,2 0 1 2,2 7(1):6 9-7 7.7 C A R D A L I AGU E TP,E UV R A R D G.A p p r o x i m a t i o no faf u n c t i o na n d i t sd e r i v a t i v ew i t han e u r a l n e t w o r kJ.N e u r a lN e t w o r k s,1 9 9 2,5(2):2 0 7-2 2 0.8 C O S T A R E L L ID,V I N T IG.V o r o n o v s k a j at y p et h e o r e m sa n dh i g h-o r d e rc o n v e r g e n c en e u r a ln e t w o r ko p e r a t o r sw i t hs i g m o i d a l f u n c t i o n sJ.M e d i t e r r a n e a n J o u r n a l o fM a t h e m a t i c s,2 0 2 0,1 7:1-2 3.9 C O S T A R E L L ID,V I N T IG.M a x-p r o d u c tn e u r a ln e t w o r ka n d q u a s i-i n t e r p o l a t i o n o p e r a t o r s a c t i v a t e d b y s i g m o i d a lf u n c t i o n sJ.J o u r n a l o fA p p r o x i m a t i o nT h e o r y,2 0 1 6,2 0 9:1-2 2.1 0 C O S T A R E L L I D.I n t e r p o l a t i o n b y n e u r a l n e t w o r ko p e r a t o r sa c t i v a t e d b y r a m p f u n c t i o n sJ.J o u r n a lo fM a t h e m a t i c a lA n a l y s i sa n d A p p l i c a t i o n s,2 0 1 4,4 1 9(1):5 7 4-5 8 2.1 1 C O S T A R E L L I D,V I N T I G.A p p r o x i m a t i o n b y m a x-p r o d u c tn e u r a ln e t w o r ko p e r a t o r so fK a n t o r o v i c ht y p eJ.R e s u l t s i nM a t h e m a t i c s,2 0 1 6,6 9(3):5 0 5-5 1 9.1 2 C O S T A R E L L ID,V I N T IG.C o n v e r g e n c ef o raf a m i l yo fn e u r a l n e t w o r ko p e r a t o r s i nO r l i c z s p a c e sJ.M a t h e m a t i s c h eN a c h r i c h t e n,2 0 1 7,2 9 0(2-3):2 2 6-2 3 5.1 3 C O S T A R E L L ID,V I N T I G.E s t i m a t e sf o rt h e n e u r a ln e t w o r ko p e r a t o r so f t h em a x-p r o d u c t t y p ew i t hc o n t i n u o u sa n dp-i n t e g r a b l ef u n c t i o n sJ.R e s u l t si n M a t h e m a t i c s,2 0 1 8,7 3(1):1-1 0.1 4 谢庭藩,周颂平.实函数逼近论M.杭州:杭州大学出版社,1 9 9 8.X I E T F,Z HOU S P.A p p r o x i m a t i o nt h e o r i e so fr e a lf u n c t i o n sM.H a n g z h o u:H a n g z h o u U n i v e r s i t y P r e s s,1 9 9 8.(C h).1 5 K E S T E LMAN H.M o d e r nt h e o r i e so fi n t e g r a t i o nM.N e wY o r k:D o v e r,1 9 6 0.1 6 B UT Z E R P L,N E S S E L R J.F o u r i e r a n a l y s i s a n da p p r o x i m a t i o nM.B a s e l:B i r k h u s e r,1 9 7 1.1 7 D I T Z I ANZ,T O T I KV.M o d u l i o f s m o o t h n e s sM.N e wY o r k:S p r i n g e r,1 9 8 7.1 8 B U S T AMAN T EJ.B e r n s t e i no p e r a t o r s a n d t h e i r p r o p e r t i e sM.C h a m:B i r k h u s e r,2 0 1 7.E s t i m a t e s f o r t h eq u a s i-i n t e r p o l a t i o nn e u r a ln e t w o r ko p e r a t o r so fk a n t o r o v i c ht y p eX I ANGC h e n g h a o,Z HAOY i(S c h o o l o fM a t h e m a t i c s,H a n g z h o uN o r m a lU n i v e r s i t y,H a n g z h o u3 1 1 1 2 1,C h i n a)A b s t r a c t:B a s e do nt h e M a x-p r o d u c to p e r a t o r sa n dK a n t o r o v i c ht y p eo p e r a t o r si nt h en e u r a ln e t w o r k so p e r a t o r st h e o r y,aq u a s i-i n t e r p o l a t i o nt y p en e u r a ln e t w o r ko p e r a t o ra c t i v a t e d b y S i g m o i d a l f u n c t i o n s i s c o n s t r u c t e d.T h e p o i n t w i s e a n d u n i f o r ma p p r o x i m a t i o n so fn o n n e g a t i v ec o n t i n u o u sf u n c t i o n ss p a c ea r ec o n s i d e r e d.M o r e o v e r,t h eq u a n t i t a t i v ee s t i m a t es i m i l a r t oK-f u n c t i o n a l o nt h eLp+()s p a c e s i sg i v e n.K e y w o r d s:n e u r a l n e t w o r k o p e r a t o r s;K a n t o r o v i c h-t y p e o p e r a t o r s;M a x-p r o d u c to p e r a t o r s;a p p r o x i m a t i o n