工业x光相机的sensor
前段时间一个偶然机会，简单的收集了工业相机sensor的一些信息。总结了一些信息作为本篇文章的内容。其中如果有什么说的不到的地方，请大家不吝赐教。
本文所提到工业相机是一个比较广泛的概念，其主要的领域很多并不只是工业生产相关，多数情况下的CV相机的应用都可以成为工业相机的一个子领域。而这些领域中的一些相机由于特殊的需求和规范，在实际生产销售中又单独归为一类。比如车载市场中前装由于车规的存在，往往都是按照单独的一个市场划分。有些厂家的医疗部分也是作为一个单独的划分的。在这篇文章不更多的对单一的领域进行更多的讨论，只是讨论对于工业相机领域的sensor选择差别。
在讨论sensor之前，我们首先看下机器视觉市场的具体情况。在以地域划分的市场上制造商最重要的市场是欧洲、亚洲和美国，这三个市场的相机销售量占比分别是50%、32%和18%。机器视觉相关产业起步晚，市场基数小，但发展速度快（2009年以后进入快速发展期）。结合人口红利消退、利好政策刺激以及渗透率亟待提高三大驱动因素，我国工业视觉市场也在加速扩张。2018年我国工业机器视觉市场规模达到44.4亿元，十年年复合增长率达21%。据国际自动成像协会（AIA）的统计，近十年全球工业机器视觉市场规模年复合增长率仅为7.7%。虽然这个市场相对于成像的最大手机的相机市场还是很小，但是增长速度还是很快的。
其中我国前几年机器视觉系统主要应用在半导体及电子制造领域（2015年占比高达46.4%），其中较为突出的是在SMT贴片、AOI/AXI设备以及连接器检测上。此外，主要应用领域还包括监控、汽车、制药等。而最近几年的半导体生产中工业相机尤为重要，在硅晶圆检测、切割、封装、检测等过程中的高精度定位中都发挥着无法替代的作用。而自动化生产中，视觉定位也是主流的高精度定位方法。
下面是工业相机的一些主要使用领域，从器工作领域中可以发现其中包含了绝大部分的CV场景，需求也是各种各样。
1、工业生产领域，这是一个很广泛的领域，既可以包括高精度的视觉定位，外观检测这样的高精度场景，也可以包括红外，X光，UV成像部件检测等这样非简单可见光成像，外也可以包括像是计数，或者二维码标签扫描之类的简单的视觉应用。
2 监控领域，既可以包括普通场所下监控，也可以包括暗光下监控，以及包括人脸检测或者人物跟踪的智能监控以及像是交通场景下的超速抓拍，闯红灯电子警察、高速公路、卡口收费等等。
3、体育项目上，如现在足球比赛的 VAR 系统，捕捉棒球及高尔夫球击球时球的状态、和空气产生的阻力等等；
4 医疗检测，X光成像，CT，核磁成像等
5 生活中常见的领域，电子支付，二维码扫描，超市中产品标签的快速扫描，其它一些需要图像的自动领域。
6 自动驾驶，辅助驾驶，车载驾驶员监控等非车规车载应用上等。
7 其他领域，如：航天科研、军事科学、航天航空等众多领域
工业相机的sensor类型和主要生产商
在工业摄像头CCD和CMOS的sensor都存在，但是大的趋势是CMOS sensor成为主流。而过往中global shutter 在工业相机中多，但是现在也有一部分的rolling shutter的sensor。而多数的国际一线的供应商主要是 Sony和On-semi，国外欧洲有些公司公司也在这个市场做的不错。国内的话smart sense和长辰光电也在做但是市场份额比较少。在车载领域OV在中国市场的增长是很不错的，但是在其它CV领域并不太多。2018年sony已取得62%的市场占有率，是2017年的两倍。安森美半导体斩获了22%的市场份额，比2017年下降了3个百分点。Teledyne 和 e2V的市场份为7%，ams Sensors Belgium的市场份额与2017年持平，仍是3%。但是On-semi在产品线上是目前世界最全的。
国内模组的生产厂商海康，华睿，凌云，北京微视，大恒图像，国外的日本基恩士（Keyence），三菱，Dalsa，德国Allied Vision Technologies 等。国内生产厂商多是自己生产和代理同时有，而且代理的份额大。
在工业相机的生产中，有些厂商会选择下面这样的模组，而有些则直接将sensor生产到所使用的设备里。
由于工业相机的使用的领域比较广泛且碎片，所以如果简单的按照单个方面分类的话sensor可以分为很多种类。
按照芯片类型可以分为CCD相机、CMOS相机；
按照传感器的结构特性可以分为线阵相机、面阵相机；
按照分辨率大小可以分为低分辨率、普通分辨率、高分辨率、超高分辨率；
按照输出信号方式可以分为模拟、数字；
按照输出色彩可以分为单色（黑白）、彩色；
按照输出信号速度可以分为普通帧率、高帧率、超高帧率；
按照响应频率范围可以分为可见光（普通）相机、红外相机、紫外相机等。
但是在实际的使用中上面的分类太过于碎片，sensor也很难以这种方式来分类使用。在实际使用中仅以帧率和分辨率来说，这两者之间是有一定矛盾的。帧率高的时候曝光时间就短，对于sensor的sensitivity要求就高，相对来说大像素（小分辨率）更容易实现。工业相机主要和其使用的场景有很大关系，并不是所有场景都需要分辨率和帧率同时都很高。
以下面的不同是的分辨率和帧率使用场景区分，也是目前比较常见的一种分类方式。
1 小分辨VGA~1080大于100帧超高帧率使用场景
主要的应用场景在扫码等一些图像质量要求不高的场景，比如快速生产检测的产线上条码扫描，物流分类，还有嵌入式应用在机器人上做sensing或者辅助操作 （比如AGV自动导引运输车），及某些固定使用场景的自动驾驶设备对于二维码，条码，标识的识别。这种应用场景下的解析力一般在VGA(30W 640*80)~Full HD(1920*1080)已经足够了。但是对于帧率一般至少要100FPS~850FPS。这样可以有效的高速生产或者运动环境中减少运动模糊，提高生产效率。
2 2M~5M高清正常帧率或者高速帧率使用场景
主要的应用在一些机器视觉，智能监控，体育监控，车内,自动驾驶（自动驾驶不一定是在消费汽车上），机器人等一些常见的机器视觉的场景.值得一提的是ITS （intelligent transportation system） 应用， 在中国增长很快。智能交通系统，检查交通违规，帮助车流疏导，智能停车管理等。在这些场景下往往分辨率和帧率都很重要，实际的使用需要一个很好的平衡，尤其是在大量的物体识别更提升了对于分辨率的需求。目前一些定位和slam场景中还在使用VGA分辨率。但是像是智能城市，交通监控等，随着对于识别精度的追求分辨率也提升到了1920*1080~2592*2048而相对的帧率35FPS~100FPS。当然如果帧率和分辨率能够同时提高会更好，但是与此提升之后的数据量增大也会导致对于平台的需求 。
3 4K到2500W 高分辨率使用场景
主要的应用一些更高精度的组装和检测场景。如高精度结构定位组装，PCB检查，切片检查等。在这些场景下往往对于精度是毫米甚至小于毫米级别的。因此对于解析力4112*2176~2592*20483 帧率：10FPS~60FPS
4 超高清检测 2500W以上像素 4000W像素甚至到 1个亿像素以上的
主要的应用一些超高精度检测场景。这些场景下往往对于成像的时间并不太关心，甚至不关心运动模糊的问题。
5在某些特殊使用的情况下线阵sensor也在工业相机中占据一席之地。帧率和分辨率是工业相机sensor的一个选取的主要依据，但是不是全部。工业相机还有下面一些常见需要考虑的因素
工业相机的接口：
工业相机的接口方面相对目前手机上一同江湖的MIPI来说是五花八门的。
迄今为止，GigE Vision是目前领先的传输标准。其本身是基于千兆以太网，目前在制造商和用户中的使用率分别为42%和43%。LVDS，camera link和HDMI是额外使用的传输标准，而USB的使用率仍保持在8%。用户和制造商主要选择10GigE和USB 3.1标准用于5Gb/s以上的传输宽带。从趋势来看GigE是最有前途的接口。下面是从网上找到一个目前各个接口的使用比例，浅色和深色分别代表制造商和用户。
主要是不同温度的下的工作情况。有些工业sensor由于工作环境的不同，对高低温有着特殊的设计。有些sensor可以在+105度下工作，也有些能再-60度以下工作（非同时）。
sensor的大小
工业相机中体积大小的需求不一样，所以sensor的大小也是很不一样的。下面是一些sensor面积大小的示意。大家可以参考着看一下。
封装上的差别
sensor的封装等多是接近于芯片的封装。不像现在的手机sensor多数都是COB（Die）和CSP。工业sensor的封装也是多种多样。比如BGA，CDIP，CLCC，CPGA，DIP，IBGA，ILCC，LBGA，LCC,PGA,PLCC…… 等很多种封装。但是主要从pin的形状角度出发主要是BGA LGA PGA三种在此基础上，每个下面又会有细分，比如μBGA, CPGA。（这种细分种类一般是比较高级的封装类型，CIS领域好像常见的商用产品不会涉及。）封装材料，主流两类：ceramic substrate和 glass substrate。说实话这些封装中有很多我也不知道具体的区别。后面有机会请我们的snesor专家进一步的来介绍。下面是我找到的一些芯片封装的样子。
目前工业相机的发展势头是很不错的。但是由于单个领域的需求量还不足以引导整个市场，使得工业相机的sensor设计上有些碎片化。很多像是HDR，anti flickering的功能还没能完全确定下来。global shutter中加入 HDR 产品对设计要求高，因为即要做到能维持global shutter 很低的motion blur 的前提，又要比普通线性模式更高的宽动态，传统rolling shutter里应用的HDR手段比如多次曝光或者长短曝光时间等都无法被采用，有一些GS HDR是借助sensor内AD不同增益实现的虚拟HDR，目前一些ITS的应用场景会有需求。而真实HDR + Global shutter只在某些少量不在乎成本的客制化芯片存在。还相信随着市场和应用的扩大，工业相机针对实际市场的sensor需求会细分下来。
此文章来自“大话成像”
本文所提到工业相机是一个比较广泛的概念，其主要的领域很多并不只是工业生产相关，多数情况下的CV相机的应用都可以成为工业相机的一个子领域。而这些领域中的一些相机由于特殊的需求和规范，在实际生产销售中又单独归为一类。比如车载市场中前装由于车规的存在，往往都是按照单独的一个市场划分。有些厂家的医疗部分也是作为一个单独的划分的。在这篇文章不更多的对单一的领域进行更多的讨论，只是讨论对于工业相机领域的sensor选择差别。
在讨论sensor之前，我们首先看下机器视觉市场的具体情况。在以地域划分的市场上制造商最重要的市场是欧洲、亚洲和美国，这三个市场的相机销售量占比分别是50%、32%和18%。机器视觉相关产业起步晚，市场基数小，但发展速度快（2009年以后进入快速发展期）。结合人口红利消退、利好政策刺激以及渗透率亟待提高三大驱动因素，我国工业视觉市场也在加速扩张。2018年我国工业机器视觉市场规模达到44.4亿元，十年年复合增长率达21%。据国际自动成像协会（AIA）的统计，近十年全球工业机器视觉市场规模年复合增长率仅为7.7%。虽然这个市场相对于成像的最大手机的相机市场还是很小，但是增长速度还是很快的。
其中我国前几年机器视觉系统主要应用在半导体及电子制造领域（2015年占比高达46.4%），其中较为突出的是在SMT贴片、AOI/AXI设备以及连接器检测上。此外，主要应用领域还包括监控、汽车、制药等。而最近几年的半导体生产中工业相机尤为重要，在硅晶圆检测、切割、封装、检测等过程中的高精度定位中都发挥着无法替代的作用。而自动化生产中，视觉定位也是主流的高精度定位方法。
下面是工业相机的一些主要使用领域，从器工作领域中可以发现其中包含了绝大部分的CV场景，需求也是各种各样。
1、工业生产领域，这是一个很广泛的领域，既可以包括高精度的视觉定位，外观检测这样的高精度场景，也可以包括红外，X光，UV成像部件检测等这样非简单可见光成像，外也可以包括像是计数，或者二维码标签扫描之类的简单的视觉应用。
2 监控领域，既可以包括普通场所下监控，也可以包括暗光下监控，以及包括人脸检测或者人物跟踪的智能监控以及像是交通场景下的超速抓拍，闯红灯电子警察、高速公路、卡口收费等等。
3、体育项目上，如现在足球比赛的 VAR 系统，捕捉棒球及高尔夫球击球时球的状态、和空气产生的阻力等等；
4 医疗检测，X光成像，CT，核磁成像等
5 生活中常见的领域，电子支付，二维码扫描，超市中产品标签的快速扫描，其它一些需要图像的自动领域。
6 自动驾驶，辅助驾驶，车载驾驶员监控等非车规车载应用上等。
7 其他领域，如：航天科研、军事科学、航天航空等众多领域
工业相机的sensor类型和主要生产商
在工业摄像头CCD和CMOS的sensor都存在，但是大的趋势是CMOS sensor成为主流。而过往中global shutter 在工业相机中多，但是现在也有一部分的rolling shutter的sensor。而多数的国际一线的供应商主要是 Sony和On-semi，国外欧洲有些公司公司也在这个市场做的不错。国内的话smart sense和长辰光电也在做但是市场份额比较少。在车载领域OV在中国市场的增长是很不错的，但是在其它CV领域并不太多。2018年sony已取得62%的市场占有率，是2017年的两倍。安森美半导体斩获了22%的市场份额，比2017年下降了3个百分点。Teledyne 和 e2V的市场份为7%，ams Sensors Belgium的市场份额与2017年持平，仍是3%。但是On-semi在产品线上是目前世界最全的。
国内模组的生产厂商海康，华睿，凌云，北京微视，大恒图像，国外的日本基恩士（Keyence），三菱，Dalsa，德国Allied Vision Technologies 等。国内生产厂商多是自己生产和代理同时有，而且代理的份额大。
在工业相机的生产中，有些厂商会选择下面这样的模组，而有些则直接将sensor生产到所使用的设备里。
由于工业相机的使用的领域比较广泛且碎片，所以如果简单的按照单个方面分类的话sensor可以分为很多种类。
按照芯片类型可以分为CCD相机、CMOS相机；
按照传感器的结构特性可以分为线阵相机、面阵相机；
按照分辨率大小可以分为低分辨率、普通分辨率、高分辨率、超高分辨率；
按照输出信号方式可以分为模拟、数字；
按照输出色彩可以分为单色（黑白）、彩色；
按照输出信号速度可以分为普通帧率、高帧率、超高帧率；
按照响应频率范围可以分为可见光（普通）相机、红外相机、紫外相机等。
但是在实际的使用中上面的分类太过于碎片，sensor也很难以这种方式来分类使用。在实际使用中仅以帧率和分辨率来说，这两者之间是有一定矛盾的。帧率高的时候曝光时间就短，对于sensor的sensitivity要求就高，相对来说大像素（小分辨率）更容易实现。工业相机主要和其使用的场景有很大关系，并不是所有场景都需要分辨率和帧率同时都很高。
以下面的不同是的分辨率和帧率使用场景区分，也是目前比较常见的一种分类方式。
1 小分辨VGA~1080大于100帧超高帧率使用场景
主要的应用场景在扫码等一些图像质量要求不高的场景，比如快速生产检测的产线上条码扫描，物流分类，还有嵌入式应用在机器人上做sensing或者辅助操作 （比如AGV自动导引运输车），及某些固定使用场景的自动驾驶设备对于二维码，条码，标识的识别。这种应用场景下的解析力一般在VGA(30W 640*80)~Full HD(1920*1080)已经足够了。但是对于帧率一般至少要100FPS~850FPS。这样可以有效的高速生产或者运动环境中减少运动模糊，提高生产效率。
2 2M~5M高清正常帧率或者高速帧率使用场景
主要的应用在一些机器视觉，智能监控，体育监控，车内,自动驾驶（自动驾驶不一定是在消费汽车上），机器人等一些常见的机器视觉的场景.值得一提的是ITS （intelligent transportation system） 应用， 在中国增长很快。智能交通系统，检查交通违规，帮助车流疏导，智能停车管理等。在这些场景下往往分辨率和帧率都很重要，实际的使用需要一个很好的平衡，尤其是在大量的物体识别更提升了对于分辨率的需求。目前一些定位和slam场景中还在使用VGA分辨率。但是像是智能城市，交通监控等，随着对于识别精度的追求分辨率也提升到了1920*1080~2592*2048而相对的帧率35FPS~100FPS。当然如果帧率和分辨率能够同时提高会更好，但是与此提升之后的数据量增大也会导致对于平台的需求 。
3 4K到2500W 高分辨率使用场景
主要的应用一些更高精度的组装和检测场景。如高精度结构定位组装，PCB检查，切片检查等。在这些场景下往往对于精度是毫米甚至小于毫米级别的。因此对于解析力4112*2176~2592*20483 帧率：10FPS~60FPS
4 超高清检测 2500W以上像素 4000W像素甚至到 1个亿像素以上的
主要的应用一些超高精度检测场景。这些场景下往往对于成像的时间并不太关心，甚至不关心运动模糊的问题。
5在某些特殊使用的情况下线阵sensor也在工业相机中占据一席之地。帧率和分辨率是工业相机sensor的一个选取的主要依据，但是不是全部。工业相机还有下面一些常见需要考虑的因素
工业相机的接口：
工业相机的接口方面相对目前手机上一同江湖的MIPI来说是五花八门的。
迄今为止，GigE Vision是目前领先的传输标准。其本身是基于千兆以太网，目前在制造商和用户中的使用率分别为42%和43%。LVDS，camera link和HDMI是额外使用的传输标准，而USB的使用率仍保持在8%。用户和制造商主要选择10GigE和USB 3.1标准用于5Gb/s以上的传输宽带。从趋势来看GigE是最有前途的接口。下面是从网上找到一个目前各个接口的使用比例，浅色和深色分别代表制造商和用户。
工作环境的容忍度
主要是不同温度的下的工作情况。有些工业sensor由于工作环境的不同，对高低温有着特殊的设计。有些sensor可以在+105度下工作，也有些能再-60度以下工作（非同时）。
sensor的大小
工业相机中体积大小的需求不一样，所以sensor的大小也是很不一样的。下面是一些sensor面积大小的示意。大家可以参考着看一下。
封装上的差别
sensor的封装等多是接近于芯片的封装。不像现在的手机sensor多数都是COB（Die）和CSP。工业sensor的封装也是多种多样。比如BGA，CDIP，CLCC，CPGA，DIP，IBGA，ILCC，LBGA，LCC,PGA,PLCC…… 等很多种封装。但是主要从pin的形状角度出发主要是BGA LGA PGA三种在此基础上，每个下面又会有细分，比如μBGA, CPGA。（这种细分种类一般是比较高级的封装类型，CIS领域好像常见的商用产品不会涉及。）封装材料，主流两类：ceramic substrate和 glass substrate。说实话这些封装中有很多我也不知道具体的区别。后面有机会请我们的snesor专家进一步的来介绍。下面是我找到的一些芯片封装的样子。
目前工业相机的发展势头是很不错的。但是由于单个领域的需求量还不足以引导整个市场，使得工业相机的sensor设计上有些碎片化。很多像是HDR，anti flickering的功能还没能完全确定下来。global shutter中加入 HDR 产品对设计要求高，因为即要做到能维持global shutter 很低的motion blur 的前提，又要比普通线性模式更高的宽动态，传统rolling shutter里应用的HDR手段比如多次曝光或者长短曝光时间等都无法被采用，有一些GS HDR是借助sensor内AD不同增益实现的虚拟HDR，目前一些ITS的应用场景会有需求。而真实HDR + Global shutter只在某些少量不在乎成本的客制化芯片存在。还相信随着市场和应用的扩大，工业相机针对实际市场的sensor需求会细分下来。
此文章来自“大话成像”
中文版
English