解决方案
产业用图像传感器

使用多波段滤光片的普及型分光相机的提案

用途:制造业

  • 首页
  • 解决方案
  • 使用多波段滤光片的普及型分光相机的提案

背景

各种食品检测的自动化趋势

在食品制造业中,为确保食品安全性,需要进行各种各样的检测。例如,检测制造过程中混入异物(虫子、植物种子、木片、砂石、贝壳、陶瓷碎片等)的异物检测,以及确定食品成分(水分、脂肪、糖分、蛋白质等)、测定其含有量的成分检测等。这些检测一般通过人力或机械进行,但为实现更高精度、更快速的检测,使用相机的自动化检测成为当前的趋势。

背景

课题

目前的可选方法

当食品与异物颜色、形状非常相似时,或者检测的食品成分无法通过目视确认时,使用彩色相机很难识别、检测对象物。

这种时候,可以使用通过获取RGB以外的波长信息来识别、检测对象物(异物和食品成分)的系统。现在,通常采用以下方法。

  • 1)使用多光谱相机的方法:

    一次能获取数百条不同波长信息的单台相机被称为多光谱相机。但要从可获取的庞大波长数据中,挑选出适合异物筛选和食品成分检测的图像却很困难。而且这种相机的尺寸很大,价格也比普通相机更贵。

    多光谱相机的示意图
  • 2)在普通相机上安装多个带通滤波器的方法:

    这种方法相比1)实现成本更低。事先选择多个适合异物筛选和食品成分检测的波段,然后准备与这些波段对应的带通滤波器和相机。带通滤波器和相机根据所需波长数量准备即可。这种方法相比多光谱相机成本更低,但是需要一定空间来设置多个相机。另外,该方法还需要多个镜头、带通滤波器等周边设备,因此当所需的波长数量过多时,费用会大幅增加。除此之外,想要同时将多个波长组合起来用作一张图像时,这些相机很难以相同的视角同时拍摄被摄体。

    多光谱相机的示意图

如上所述,在引入先进的检测工序时,价格以及庞大复杂的系统都是需要解决的课题。

提案

索尼半导体解决方案公司(下称SSS)将市售的多波段滤光片与SWIR图像传感器(IMX990)结合,提出适合异物检测和成分检测的普及型分光相机的概念,以解决食品制造行业面临的这些课题。

※IMX990是搭载了SenSWIR™技术的高性能SWIR图像传感器。单一传感器即可在包含可视光的0.4μm~1.7μm的大波段范围内成像。(→SWIR图像传感器

普及型分光相机的概念

现在市售的多光谱相机有多种分光方式。其中之一就是通过使用棱镜或衍射光栅等分光器,将通过狭缝的光的波长信息展开在图像传感器的像面上,然后以线扫描方式读取这些信息。(参照下图“普通的多光谱相机”)

这种方式的优点是不会造成分辨率下降,但存在相机尺寸大、价格高昂的缺点。并且它采用线扫描方式读取,所以局限于被摄体或相机匀速移动的场景。不过,由于制造业中被摄体在传送带上匀速移动的情况很常见,所以其应用很广泛。

于是,SSS想到能否以这种方式为基础,用其他类型的分光器替代棱镜和衍射光栅,从而实现小型且低成本的普及型分光相机。

具体来说,这是一种将多光谱相机的分光器替换为能透过多个不同波长的多波段滤光片的方法。这种多波段滤光片相比棱镜和衍射光栅成本更低,直接放置在图像传感器上方,就能实现与传统相机尺寸相同的线扫描方式的分光相机。(参照下图“SSS提案的普及型分光相机”)

普通的多光谱相机的示意图
SSS提案的普及型分光相机的示意图

与传统相机系统的比较

可捕捉数百种波长的多光谱相机可以进行各种异物和成分的检测,但假设在一些限定用途中,使用4种波长就能进行高精度的识别。按照这一条件比较3种相机系统后,得出以下结果。普及型分光相机是一种低成本、成像数据处理简单并容易引入的系统。而且相机尺寸小巧,设置简单。

利用4种波长进行异物检测时的比较

普及型分光相机 普通相机4台 多光谱相机
普及型分光相机 普通相机4台

(附带与筛选所需波长相对应的带通滤波器)

多光谱相机
价格 非常高
相机系统能获取的波长数量 4种波长 4种波长 数百种波长
波长选择 不需要 不需要 需要
设置所需空间 1台相机大小 4台相机大小 十几台相机大小
相同视角下同时拍摄4种波长 不能

使用普及型分光相机的各种检测事例

让我们来看看在多种假定用途下的实际检测事例。
以下事例中,我们利用食品所含成分会吸收特定波长光的特点,为相机选定并搭载了适合食品检测的4个波段的多波段滤光片。

多波段滤光片的插图

使用多波段滤光片,根据脂质、水分、蛋白质的吸收情况,拍摄特定波长的图像,可获得普通彩色相机难以获得的信息。而且,利用拍摄的多光谱图像进行适合被摄体的图像处理,成功对彩色相机和单波段难以识别的成分和异物进行了可视化处理。

【拍摄事例1】 茶叶含水量的测定:水分检测

该事例设想的是制造茶叶时干燥工序中的含水量检测。茶叶的干燥程度可以通过茶叶所含的水分多少来判断,但是含水量很难通过目视识别。在本事例中,我们对含水量不同的4组茶叶进行了拍摄。利用水分吸收1450nm波段光的特性,对茶叶所含的水分进行可视化处理。

茶叶含水量测定(水分检测)的说明

【拍摄事例2】核桃的异物检测:检测同色异物

该拍摄事例假定对核桃壳进行筛选检测。通常,核桃去壳后要过筛,将果肉与外壳分离,但是外壳很难清除干净,残留的外壳需要通过人力检测和清除。假设用相机来协助这项人力筛查,我们将普通彩色相机与普及型分光相机的拍摄图像进行了比较。

从彩色相机的图像来看,核桃果肉与未清除的外壳颜色相近,二者形状相似时尤其难以区分。

在本事例中,用适合区分核桃果肉与外壳的4种波长拍摄,然后使用这些图像在彩色映射图上用红色代表异物(外壳)。将多种波长的数据组合在一起,提升了测定精度,可以轻松检测出彩色相机难以识别的异物。

核桃异物检测(同色异物的检测)的说明

Note:关于该事例中使用的主要成分分析的算法信息,计划在即将发布的白皮书中公开!如果感兴趣,请点击此处提前注册。

展望

在上述事例中,我们介绍了使用2波段和4波段图像进行的验证。将多种波长的图像与图像处理结合起来,有望进一步扩大检测的应用范围。
现在,SSS正在通过各种应用事例推进验证,以期望扩大普及型分光相机在食品制造行业各种检测中的应用。这种普及型分光相机通过改变滤光片的规格,可将应用范围扩大到其他产业领域。

想要了解普及型分光相机及其应用,请点击此处联系我们。
另外,搭载SWIR图像传感器的相机列表,可点击此处下载。列表中也包括了普及型分光相机,如有需求敬请参阅。

下载

搭载SWIR图像传感器的相机列表

下载搭载索尼SWIR图像传感器的相机列表。普及型分光相机的Notes一栏中记载着“Note:Based on Sony's "Optimal Multi-Spectral Camera" concept”。

普及型分光相机的拍摄环境与图像处理方法的介绍

资料封面图片

关于普及型分光相机的实际验证情况,我们将结合拍摄事例,对拍摄要点和图像处理方法进行介绍。实际拍摄的样本图像也可下载。
(计划2025年初公开!)

相关产品和解决方案

联系我们

点击此处索取产品规格/报价 (RFQ)!

* 点击该按钮将跳转到本公司的委托公司salesforce.com Co., Ltd.的网站。请使用英语咨询。

订阅邮件资讯

获取更多索尼产业设备图像传感器的最新资讯