基于神经网络的信噪比增强方法分析.pdf
《基于神经网络的信噪比增强方法分析.pdf》由会员分享,可在线阅读,更多相关《基于神经网络的信噪比增强方法分析.pdf(3页珍藏版)》请在咨信网上搜索。
1、 集成电路应用 第 40 卷 第 6 期(总第 357 期)2023 年 6 月 11Research and Design 研究与设计0 引言 神经网络强大的学习能力驱动着学者和工程师们去发掘其在图像处理领域的应用。最近几年来,学术界和工业界也陆续发布了人工智能在图像处理上落地的相关研究成果。这些研究的目的是用AI来实现ISP的整个通路或者部分模块的功能(AI-ISP)。如文献1中提到的用神经网络去做宽动态范围映射;如文献2文中提到的用神经网络去做低光增强和噪声抑制。不可否认,上述研究在ISP传统案例场景的处理上取得了令人瞩目的成果。但是在具体工程化落地时,也面临着对前端IPC处理芯片巨大的
2、算力要求3(1 080P30fps 需要20T以上)、带宽开销和功耗代价以及场景适应性的问题。1 研究背景目前公开的学术界的AI-ISP研究更多地专注于理想情况,就AI降噪而言,其仿真数据使用的白噪声模型、泊松噪声以及混合噪声模型和实际CMOS图像传感器CIS在低照度的噪声相比,在噪声形态和噪声水平上都存在着不容忽视的差距。以参考文献2的数据集为例,其数据来源于单反相机的RAW数据,其噪声水平和实际安防常用CIS相比不可同日而语。更进一步地,对于普通图像传感器(1/3英寸)搭配普通光圈镜头(f3.0)在极低照度场景(0.01Lux)下,上述基于神经网络的图像处理的输出和搭配同样传感器、镜头的传
3、统ISP输出相比,并没有令人惊艳的效果,其收益和代价相比并不明显。现有利用神经网络进行图像处理的技术存在以下几大问题:(1)利用神经网络模拟整个或者大部分图像处理流程会直接导致网络规模与运算量庞大,而且这种方法不方便实际应用时根据用户的喜好进行调试。(2)训练神经网络多采用加白噪声后的图像与原图像进行网络训练,而白噪声和实际图像传感器的噪声差别较大,会导致训练出的网络配合实际传感器使用时降噪效果不好。(3)通过调整镜头光圈或传感器曝光时间分别采集训练用高、低信噪比图像的方法在被摄物体或者采集装置存在位移时会导致同一组训练图像存在相位差,进而影响训练效果。本文介绍了提供一种RAW图像信噪比增强方
4、法及系统,以解决现有技术中利用神经网络进行图像处理时运算复杂、降噪效果差的问题。2 本文提出的算法本文提供一种图像处理方法,如图1所示包括:图像输入单元、基于AI的信噪比增强单元、传统图像处理单元和图像输出单元。所述图像输入单元用于获取图像传感器的带噪RAW数据信息;所述基于AI的信噪比增强单元用于读取图像输入单元获取的RAW数据信息和附加曝光信息,并利用神经网络对作者简介:董鹏宇,上海富瀚微电子股份有限公司;研究方向:集成电路设计。收稿日期:2022-06-21;修回日期:2023-05-22。摘要:阐述神经网络的降噪方法更多地专注于理想情况,仿真数据使用的白噪声模型、泊松噪声以及混合噪声模
5、型和实际CMOS图像传感器在低照度的噪声相比,存在不容忽视的差距。提出一种融合AI和传统算法的信噪比增强方法,可以明显提升CMOS图像传感器在低照度下输出RAW数据的信噪比。关键词:电路设计,神经网络,图像传感器,信噪比增强。中图分类号:TN402,TN713,TP391.41 文章编号:1674-2583(2023)06-0011-03DOI:10.19339/j.issn.1674-2583.2023.06.005文献引用格式:董鹏宇.基于神经网络的信噪比增强方法分析J.集成电路应用,2023,40(06):11-13.基于神经网络的信噪比增强方法分析董鹏宇(上海富瀚微电子股份有限公司,上
6、海 200233)Abstract This paper describes that most of the currently disclosed neural network-based noise reduction methodsfocus more on the ideal situation.There is a huge gap between the white noise model,Poisson noise and mixed noise model used in the simulation data and the noise of the actual CMOS
7、 image sensor in low illumination.It proposes a signal-to-noise ratio enhancement method combining AI and traditional ISP algorithms,which can significantly improve the signal-to-noise ratio of raw data output by CMOS image sensor under low light conditions.Index Terms circuit design,neural network,
8、CMOS image sensor,SNR enhancement.Analysis of a Neural Network Based Method for SNR EnhancementDONG Pengyu(Shanghai Fullhan Microelectronics Co.,Ltd.,Shanghai 200233,China.)12 集成电路应用 第 40 卷 第 6 期(总第 357 期)2023 年 6 月 Research and Design 研究与设计所述原始图像数据进行信噪比增强;所述传统图像信号处理单元用于对信噪比增强后的RAW数据进行降噪和去马赛克处理,并得到处
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 神经网络 增强 方法 分析
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。