视觉检测技术.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,视觉检测技术,(2)零件尺寸的在线测量,(3)零件外观及内部缺陷检测,芯片定位,芯片管脚检测,钢板厚度的在线测量,木料检测原理,例：木料检测：缺陷、体积,(4)产品分类、分组,(5)产品标识、编码识别,苹果分级、分色、配色,商品条码、印鉴、标签,“手-眼”定位：两个摄像机-两幅平面图像-三维场景信息,用于：目标识别、道路识别、障碍物判断、主动导航、自动视觉导航,无人驾驶汽车、无人驾驶飞机、无人战车、探测机器人,实例：美国Sojourner系列和Rocky系列火星探测移动机器人,2、机器人导航,“机遇”号火星车拍摄,火星土壤的显微照片,“勇气”号火星车发回的彩色照片,美国勇气号和机遇号火星探测移动机器人,3、生物医学图像分析,（1）医学临床诊断：X射线、B超、CT、核磁共振（MRI）,医学影像融合分析,细胞个数统计,CT图像,自动检测：染色体切片、癌细胞切片、超声波图象,三维人体扫描,（2）生物图像分析：形状、组织切片、染色体配对、细菌、病毒、,病原体外形尺寸检测、颜色识别、表面损伤检测以及组织分析,叶片细胞显微放大图片,转基因大豆孢子,例：水果分类；发芽土豆；杂草识别,4、遥感图像分析：,卫星遥感图像-气象卫星（红外成象-云图-气象状况）,资源卫星（多光谱成象-地质、矿藏、森林、灾害）,海洋卫星（合成孔径雷达成象-海洋、海浪、海滩）,航空摄影图像-（多目成象-大地测量、测绘）,交通-车辆识别、牌照识别、车型判断、车辆监视、交通流量检测,安全-指纹判别与匹配、面孔与眼底识别、安全检查（飞机、海关）,监视-超市、商店防盗、银行监控，停车场、电梯闭路电视,6、,军事与国防：,5、,监控、安防、交通管理：,超低空雷达、超视距雷达、导弹制导、导弹导航、地形匹配、,单兵作战系统、战场遥测、夜视仪、声纳成象,7、,办公与家电：,办公设备-数码复印机、扫描仪、传真机、绘图仪,家用电器-数码摄像机、数码照相机、可视电话、可视门铃,二、视觉系统的一般构成,光源,图像卡,场景,摄像机,计算机,典型视觉系统,工作原理：,光 敏感元件 电（光电元件）,光源,光通路,光电元件,测量电路,光,光,电,电,y,x,1,x,2,传感器：,单目视觉：一个摄像组件（镜头+摄像机）,多目视觉：多个摄像组件（镜头+摄像机）,图像采集部分、图像处理部分、通信和I/O部分以及输出和执行机构,图像采集系统：可视化图像或特征,数据,场景,镜头,光源,摄像机,图像存储体,计算机,输出,镜头,摄像机,镜头,摄像机,控制,电缆,视觉系统流程图,图像质量好,图像处理简单、结果理想,图像质量差,图象处理麻烦、结果不理想,由,光源、镜头、摄像机、图像采集卡等构成,1、,眼睛的结构及成像,人类视觉 眼睛,计算机视觉 图像输入系统,晶状体 镜头；视网膜 像敏面；,远物体 晶状体扁平 屈光能力小 距离大（最大17mm),近物体 晶状体厚 屈光能力大 距离小（最小14mm),物体,光谱,-紫外 可见光 红外,2、电磁波谱,可见光谱,1、光源,(1)光源的作用：,使视场具有足够照度-整体亮度、突出特征量,满足一定的投影关系-,位置变化、成像质量,满足一定的滤光要求-区别、对比度,选择：几何形状、照明亮度、均匀度、光谱特性，发光效率、使用寿命,(2)光源的种类：,自然光源,-天体（地球、太阳、星体）、大气,三、图像采集系统,按发光机理：荧光灯,、卤素灯、,气体放电灯、,发光二极管（,LED,）、,激光二极管,LD,白炽光源：,器件：白炽灯-钨丝（熔点3600K）,特点：谱线丰富（可见光+红外光）,应用：滤色片 窄带频率光，避免杂光干扰 仪器,气体放电光源：,原理：气体分子激发放电 （电弧灯）,器件：碳弧灯、钠弧灯、氙弧灯、水银弧灯,特点：功率大，光色接近日光，紫外线丰富,应用：强光、色温要求接近日光,人工光源：,卤钨灯-改进的白炽灯（碘、溴）,特点-亮度高、发光效率高、体积小、成本低,发光二极管：,激光光源：,原理：半导体，电致发光,器件：LED，可见光、红外光,体积小、功耗低、寿命长、响应快、易于数字控制、比普通光源单色性好、亮度高,应用：电路（信号）、仪器面板（提示、报警、状态显示）,原理：,特点：,外界光光原子能级跃迁受激辐射光放大谐振辐射激光,方向性好-发散角很小(约0.18)，比普通光小23数量级亮度高-能量高度集中，亮度比普通光高几百万倍,单色性好-光谱范围极小，频率单一；,（He-Ne激光:=632.8nm,=10-6nm）,相干性好-受激辐射，传播方向/振动方向/频率/相位一致,时间相干性、空间相干性均好,器件：,固体激光器-体积小，坚固，功率高 红宝石、（少用）,气体激光器-小巧、单色性好、能连续工作、功率小 氦氖、CO2,液体激光器-激光波长可连续调节（范围）染科,半导体激光器-效率高、体积小、重量轻、结构简单、功率小、非线性,特点：,L,ED光源的种类,（,形状）：,面光源-专用,线光源,b.按,安装方式：,光源放在物体的后面 便于安装,结构光照明：,被测物在光源和摄像机之间 -对比度好,频闪光照明：,点光源-发光二极管,背向照明：,前向照明：,光源有特定的方向，光束有精确的形状。,-光栅或线光源,畸变 三维形状,高频率的光脉冲-高速运动物体,其中LED光源凭借其诸多的优点在现代视觉系统中得到越来越多的应用。,2、光学系统,成像物镜+光电器件,照相摄影系统,：,组成：,显微系统,NIKON测量显微镜,望远系统,投影系统,数字式测量投影仪,相当于人眼的晶状体,没有镜头，摄像机不能采集到任何图像。输出被噪声淹没,成像：,聚焦：,变焦：,改变镜头的焦距-改变成象大小（人眼所不具备的功能）,(1)作用：,曝光：,a、摄,影镜头,当镜头成像平面不在摄像机像面上时，输出图像模糊不清,-,调整镜头的位置，改变,CCD,与镜头基准面的距离,改变光积分时间/曝光量-改变灰度（人眼所不具备的功能）,(2)镜头的主要指标：,焦距：,焦距小（短），视场角大，观察范围大，但远处物体分辨不很清楚,焦距大（长），视场角小，观察范围小，很远的物体也能看清楚,焦距的大小决定着视场角的大小。,选择焦距：,观测范围 是要观测细节，还是要较大的观测范围,焦距的计算：,f=vD/V,f=hD/H,选择比计算值小的固定焦距，则视角还会大一些,近距离大场面 小焦距广角；远处细节 大长焦,焦距大小：几毫米数米,光圈：,（光圈指数、光阑系数），表示光通量大小，用,F,表示，,F,数,光圈指数序列的标值：1.4，2，2.8，4，5.6，8，11，16，22等，,安装方式：,方式-C式和CS式两种，差别是镜头和CCD像面的距离不同，,-螺纹连接,专用接圈-C式镜头比CS式镜头多一个专用接圈的长度，,以镜头焦距,f,和通光孔径,D,的比值来衡量：,F,=,f,/,D,(镜头标明),C式安装座从基准面到焦点的距离为17.562毫米，,CS式安装座从基准面到焦点距离为12.5毫米。,镜头上标注-焦距、光圈 确定镜头,光通量与,F,值的平方成反比关系，,F,值越小，光通量越大。,摄影镜头-,螺距为1英寸32牙,，直径为1英寸（英制）,照相镜头-M421(直径为42mm，,螺距为1mm,）,单板式CCD镜头-M120.5(直径为12mm，螺距为0.5mm）,(3)镜头的种类：,按焦距大小分类：,按变焦方式分类：,按光圈方式分类：固定光圈镜头、手动变光圈镜头、自动变光圈镜头,按安装方式分类：分为普通安装镜头、隐蔽安装镜头（针孔镜头）,分为广角镜头、标准镜头、长焦距镜头,固定焦距镜头、手动变焦距镜头、电动变焦距镜头,固定焦距镜头-固定视场大小和距离，,手动变焦镜头-偶尔改变观察范围和目标大小,电动变焦镜头-经常性改变观察范围，变焦范围大，,既可以看大范围，也可以聚焦某个细节。,固定光圈镜头-固定场景和目标，亮度不变，,用于光线变化大且频繁的场合。,手动变光圈镜头-适合亮度变化不大的场合（光圈环）,一次性调整合适为止，不变,自动变光圈镜头-会随着光线的变化而自动调整,，,按变焦倍数：2 倍变焦、6 倍变焦、10 倍变焦、20 倍变焦等。,按用途分类：照相镜头、摄影镜头、单板式CCD镜头,b、光电器件,(1)外光电效应及其器件,外光电效应,特点：速度快-从光照射到释放电子时间不超过10,-9,秒。,需足够光能-光子能力 表面溢出功,原理：光 阴极 光电子 阳极,空间电子流外接电阻 压降,U=f(I),原理：光 物体表面 光电子发射,光电管,应用：足够的光强，高速-光电开关,特点：简单，灵敏度低,（充入惰性气体气体轰击自由电子）,光电倍增管,原理：光 阴极 光电倍增极 阳极 电流,应用：开关测量 光电开关，计数,(2)内光电效应,原理：,导带,禁带,价带,半导体能带图,光电导效应,：,器件：光敏电阻、光敏二极管、光敏三极管,原理：光 电子-空穴对 导电性 电阻,光生伏特效应,:,原理：光PN结（无偏置）,电子N,空穴P 电动势,器件：光电池（硅，锗）,特点：光电流大，灵敏度高,倍增率=,n,-单极倍增率（36）,n-倍增极数（414）,光 半导体 电子吸收能量 跃迁 电子-空穴对,光敏电阻：,原理：电阻器件，加直流偏压，无极性,无光照-电子-空穴对很少-电阻大(暗电阻),有光照-电子-空穴对增多-导电性增强,特点：灵敏度高，体积小，重量轻，性能稳定,批量生产，价格便宜,应用：工业自动化-开关元件，快速响应,家电-(感应式节能灯：判断照度),特性：光照特性为非线性，光谱特性存在单峰，动态特性好,光照特性,结构：金属封装-防潮,光谱特性,动态特性,光敏二极管,（光电二极管,PD:Photo-Diode）,原理：半导体PN结-,无光时-高阻特性，微弱电流,暗,电流，,A,；,光照时-电子N,空穴P 光电流,光照愈强-光电流愈大,P,N,光照特性,光敏三极管,（光电三极管,PT:Photo-Triode）,原理：光敏二极管（bc结）+三极管,应用：线性转换元件，开关元件，,特点：灵敏度高于光敏二极管，,特性：光照特性-灵敏度和线性好，光谱特性-单峰性,光谱特性,特性：光照特性-灵敏度高于光敏二极管，线性好,光谱特性-单峰性,动态特性-响应速度低于光敏二极管,应用：线性转换元件，开关元件,高速光电二极管,PIN结光电二极管（PIN-PD）：,I-高电阻率的本征半导体,响应速度快，灵敏度高，线性好，,用于光通讯，光测量,光谱特性,动态特性,雪崩光电二极管：,PN+P,+,APD,响应速度快，灵敏度高，线性差，,用于光通讯脉冲编码,连接方式：开路电压输出-(a)短路电流输出-(b),特性：光照特性-开路电压输出：非线性(电压,-,光强)，灵敏度高,短路电流输出：线性好(电流,-,光强)，灵敏度低,光谱特性-硅电池：0.51.2,m(,红-红外,),，峰值0.8,m(,近红外,),锗电池：0.30.7,m(,紫-红,),，峰值0.5,m,(绿),光电池,原理：光PN结电子N,空穴P 电动势,光电能光电池（硅电池：单晶硅）,特点：有源器件，轻便、简单、无污染，动态特性好（硅）,工作于可见光波段-太阳能电池,应用：宇航飞行仪器，仪表电源，便携仪表(计算器)-,开关测量（开路电压输出），线性检测（短路电流输出）,四象限光电池,位置敏感器件,（PSD-Positional Sensing Device）,原理：光 光电二极管 空穴由N向P移动,空穴1端I,1,空穴2端I,2,说明,：对于各种光电元件：,（1）暗电流：无光照时输出电流 热噪声,（2）温度特性：温度 灵敏度、光谱特性 降温、恒温、温度补偿,（3）器件材料：硅 好于 锗,原理：集成4光电池-四象限,光斑4分量I,1,、I,2,、I,3,、I,4,；,应用：二维位置检测，准直,固态摄像器件：电荷耦合器件（Charge Coupled Device）-CCD,比值：,应用：位置检测(一维、二维),比值：,(1)CCD的种类：,3、CCD摄像机,按成象器件分类：线阵CCD、面阵CCD,按颜色分类：黑白摄像机、彩色摄像机,按输出信号分类：模拟式、数字式,黑白摄像机：信息量小，时间、空间少,彩色摄像机：信息量大，时间、空间,多,线阵CCD：一行，扫描；,体积小，价格低；,面,阵CCD:,整幅图像；直观；价格高，体积大；,按扫描方式分类：逐行扫描、隔行扫描,逐行扫描：高速运动，避免边缘模糊,数字摄像机-电子快门,曝光时间:,1/50s、1/125s、1/250s、1/500s、1/1000s、1/2000s、1/4000s、1/8000s、1/16000s、1/32000s,按形状分类：长形、短形、方块形、半球形、单板形,(2)摄像机的主要参数：,制式：,CCD,芯片尺寸：,PAL,制式-标准为,625,行，,50,场，中国采用隔行扫描（黑白为,CCIR,）,（西欧、亚洲、澳大利亚）,NTSC,制式-标准为,525,行，,60,场（黑白为,EIA,）（美加、日本）,非标准制式-只有医疗或其它专业领域才用到,面阵CCD芯片,相位交替行（,Phase Alternating Line）-逐行倒相,国家电视委员会,（National Television Systems Committee),CCD分辨率：,是CCD的主要性能指标，它决定了显示图像的清晰程度，,分辨率越高，图像细节的表现越好。,像素,-CCD每一个元素，像素越多，图像越清晰,44万（768*576）、100万（1024*1024）,200万（1600*1200）、600万（2832*2128）,电视线,-简称线(TV LINES)，彩色摄像头一般330500线，,黑白可以达到600线。电视线与CCD和镜头有关，,还与摄像头电路通道的频带宽度直接相关，通,常规律是1MHz的频带宽度相当于清晰度为80线。,频带越宽，图像越清晰，线数值相对越大。,灰度级,-灰度分辨率、色彩分辨率，1/2,n,位数：8位（bit）、10位、11位、12位、,位数越多，图像越清晰。,天气,照度,LUX,室内场所,照度,LUX,晴天,30000300000,生产车间,10500,阴天,3000,办公室,3050,日出日落,300,餐厅,1030,月圆,0.30.03,走廊,510,星光,0.00020.00002,停车场,15,阴暗夜晚,0.0030.0007,照度参考表：,普通型,正常工作所需照度,13LUX,月光型,正常工作所需照度,0.1LUX,左右,星光型,正常工作所需照度,0.01LUX,以下,红外型,采用红外灯照明，在没有光线的情况下也可以成像,根据照度划分，,CCD,又分为：,最低照度,：,也称灵敏度，是CCD对环境光线的敏感程度（最暗光线）。,单位-勒克斯，LUX，数值越小，需要的光线越少，越灵敏。,信噪比：,典型值为,46,分贝，,如果为,50,分贝，则图像有少量噪声，但图像质量较好；,如果能达到,60,分贝，就不会出现噪声。,电源：,交流220伏、24伏；直流12伏和9伏。,光谱：,选择摄像机：芯片尺寸、像素数、线数、灵敏度、光谱响应,感光范围,可见光、红外、超声波等,4、图像存储体,(1)图像存储体的作用：,接收来自摄像机的图像信号：,模拟摄像机-标准电视信号,数字摄像机-数字信号,存储图像数据：容量大、速度高、存取方便,图像处理：简单预处理-滤波、二值化,图像叠加-直线、圆、数字、符号,图像输出：输出到监视器-监视、观察,输出到计算机-图像处理、模式识别,(2)图像存储体的种类：,外置式：独立单元、单独供电、功能全面、,容易构成视觉系统,图像卡式：插入计算机扩展槽内-使用方便、速度快、成本低,传输式：数字摄像机-计算机接口/网络传输,（串行、并行、USB）,视觉传感器模块,视觉传感器 光源、摄像头、图像处理器、控制与通讯接口,四、信号处理系统,1.信号处理电路,光电元件,信号处理,图像处理,光,电,电,图像,3）电压/电流（V/A）转换-需要电流输出时；,1）信号放大,2）噪声抑制-信号淹没在噪声中；,电压（mV/,V,）；电流（,A,/,mA）,-运算放大电路（运算放大器）,相敏检波：同步整流电路,模拟滤波：低通（LPF）、高通（HPF）、带通（BPF）、,带阻（BEF）、全通（APF）滤波器,4）模拟/数字（A/D）转换-需要输出数字信号时,2.图像处理技术,成像 干扰等,图像,降,质 图像预处理,灰度校正-突出特征-图像增强（锐化）,滤波降噪-去除噪声-图像滤波（平滑化）,灰度修正：改变灰度分布-直方图修正,目标（前景）：黑的更黑、白的更白-直方图拉伸,干扰（背景）：灰度模糊-直方图压缩,目的,：,感兴趣特征 突出；不需要 衰减；不逼近,1)图像增强,预处理+提取、识别、计算,(70,30),(180,230),直方图修正：,2)图像滤波,图像噪声：强度随机信号,高斯噪声,椒盐（Salt&pepper)噪声：随机出现黑白亮度值,高斯噪声：高斯/正态分布 传感器噪声模型（摄像机电子干扰噪声等）,-滤波器,原始图像,高斯滤波,3)边缘检测,(1)边缘定义,边缘：图像局部亮度变化最显著的部分,分布：目标-目标、目标-背景、区域-区域、,色彩-色彩,(2)边缘检测算子,梯度算子、Roberts算子,、,Sobel算子、,Prewitt算子,、,拉普拉斯算子、LoG算子、Canny算子,4)图像描述与识别,-提取特征参量，识别物体,原始图像,LOG 算子,Prewitt 算子,Roberts 算子,Sobel 算子,Canny 算子,离焦 不清晰、对比度不好,聚焦 清晰、对比度好,return,return,夜晚景物图像对比,夜间模式,延长曝光时间,光积分时间短-曝光量小-景物亮度低-对比度差,光积分时间长-曝光量大-景物亮度高-对比度好,F=8,傍晚景物图像对比,F=5.6,阴天景物图像对比,F=11,F=5.6,return,