“SEMICON Japan 2023”演讲报告
～为人们带来“感动”的成像与感知技术

凭借科技的力量，成为创作者们最爱选择的品牌

索尼集团上下一心，围绕着创造感动、传递感动的理念开展事业活动。感动的主体是人，创造感动的也是人。因此，我们希望为创造感动内容的创作者们提供支持，成为全世界创作者最爱选择的品牌。而想要被创作者选择，重要的就是以技术开发激发创意。

结合2D与各维度的信息，为创作者的内容创作提供助力

首先，是基础的2D Imaging技术，也可以称其为传统的RGB Imaging技术。图像传感器为了给人类提供美丽影像，以“超越人眼”为关键词，经历了多次技术升级。尤其是在静态图像方面，我认为某些部分现在已经超越了人眼。

而支持影像升级的技术之一，就是全局快门技术。2023年11月，索尼株式会社发布了搭载开创性^*1全局快门方式全画幅图像传感器的镜头可换式微单相机“α9Ⅲ”。而开发这款传感器的就是我们SSS。全局快门方式的特长就是同时曝光并读取所有像素，因此，哪怕是快速移动的被摄体，也能捕捉“瞬间画面”，并避免失真。这些新技术为创作者的展现方式开辟更多的可能性。

然后，是2D技术的突破——光子计数成像。SPAD是在微弱的光线下也能检测对象物的传感器。其像素结构利用“雪崩倍增效应”，以类似雪崩的方式放大1个光子产生的电子。如果将这款传感器应用于成像，那么就算在非常昏暗的环境中，也能实现低噪点的HDR等，从而有望让用户体验到超乎想象的成像效果。首先，我们正以静态图像为对象，推进技术开发。

另外，我还想介绍在2D RGB成像技术上附加的其他维度的信息的价值。 首先是5D，它是2D成像技术与各种光谱的结合。这是非可见光短波红外光（以下称SWIR）与RGB结合形成的图像。SWIR的特长是在有雾霭的恶劣天气下，也能捕捉到远处景象。如图像中所示，它可以自由再现实际场景中的空气质感，而这是仅靠RGB难以实现的，因此，有望助力创作者创作出更具创意的作品。

其他信息方面，还有与表现光线方向的偏振光信息的结合。这（下方视频）是捕捉到蛋糕，再用CG重新构建后的效果。如图所示，如果能获取偏振光信息并充分利用，就能表现出真实的质感与材料，让人难以想象是CG效果。

另外，如今，视频作为创作与交流的手法，正越来越普及。我们认为从技术角度来看，视频性能升级领域还有很大的发展空间。将RGB与4D的基于事件的视觉传感器（以下称EVS）结合，就能利用EVS的事件，补全RGB的帧，高速移动的动态被摄体也能进行高速、低耗电的视频拍摄。我们已经成功开发了将RGB与EVS的像素混搭在1个芯片上的技术。

EVS本就不同于传统RGB的基于帧的传感器，它是将“坐标”与“时间”的信息组合在一起，输出被摄体变化的传感器。在这个视频中，相较于左侧的RGB影像，右侧的EVS影像只抓取了动态被摄体的变化加以表现。

那么，如果将EVS与RGB结合起来又会怎么样呢？请看这则视频。利用EVS的事件数据补全RGB的每个帧之间的数据后，在4K的高精细条件下也能以每秒120帧的速度拍摄出清晰流畅的视频。如果这项技术能轻松应用于手机终端上，那么全世界的创作者将有望创作出更加丰富多彩的影像。

另外，还有RGB成像技术与3D，即深度信息的结合。这是捕捉实际空间，再以三维CG重新构建后的效果。如左侧影像所示，如果只有RGB信息，因为无法准确获取深度信息，因此影像中有一部分出现了失真变形。而从另一个截图中可以看出，与RGB结合后，实现了更加高精度的影像效果。

就像我刚才向大家介绍的，我们相信将2D与各维度信息结合起来，可以扩大内容创作的范围，助力创作者创造更多感动。

以支持移动出行未来的技术，助力社会的安心与安全

自动驾驶的升级是席卷整个汽车行业的重大课题。为了实现这一目标，正确识别车身外部环境的图像传感器备受期待。在自动驾驶中，传感器必须能够正确识别远处的对象物，进而联动汽车控制。今年，我们宣布商品化的IMX735，在业内开创性^*2地达到了1,742万像素，我们期待将其应用于远距离前置感知。
*2作为车载摄像头用的CMOS图像传感器。截至2023年9月12日宣传发布时。索尼调查结果

请看IMX735的远距离识别性能。这（下方）是在高速公路上拍摄的影像。可以看出，与右侧传统传感器的成像效果相比，IMX735对于100m以外的路标也能高分辨率地识别。

我们研发的另一项技术就是Sensor Fusion。 索尼技术的特长是Early Fusion。它的概念是提取信号处理前的RAW数据，通过抓取、融合最佳特征量来提升物体的识别精度。作为前置感知技术，在这里（下方）的右上图像所示的视野恶劣的环境中，也能提升识别性能。 另外，还有一项技术是接近于实用化的环绕感知技术。

作为环绕感知技术，它有望应用于泊车辅助解决方案。我们正在开发通过高精度识别车外环境，并基于该结果自动生成地图来辅助平稳泊车的软件。我相信，通过硬件与软件的结果，我们可以提供全新的价值。请看这段视频。

以对地球上各个角落进行感知的技术，为可持续发展做贡献

我认为我们的感知技术在环境贡献领域也能发挥重要作用。那就是索尼的“地球守护平台”。我们正努力构建一套对地球上的所有角落进行感知，检测环境问题、灾害等异变的预兆，从而预防问题发生的机制。

这个平台由三种技术构成。分别是捕捉各种变化的各种感知设备群、大范围传播这些变化的LPWA网络，以及帮助理解这些变化并投入具体行动的分析和模拟技术。通过结合整个索尼集团拥有的技术，目前，我们正在与各个合作伙伴开展实证实验。为了帮助地球环境实现可持续发展，我们将加快研究开发。

另外，还有一项名为多光谱的技术，能够以比RGB更高的分辨率识别各种波长。SSS的多光谱传感器IMX454通过与专用软件结合，可一站式获取各种波长信息，并基于这些信息，在边缘侧分割对象物。

这项技术有望应用于农业领域。这里，我将介绍利用多光谱捕捉植物固有波长类型的情况。在这个视频中，我们只对真正的植物进行感知，然后用粉红色表示。由于手里拿着的是假花，因此，虽然同样是绿色，但是设备并没有反应。

我们认为通过软件的进一步升级，多光谱有望以无损的方式实时监测植物的生物信息。大家所观看的这则视频表现了同时为两个种着植物的花盆浇水后的压力反应。可以看出，上方的植物在刚才浇水之前，土壤非常干燥，因此，一开始显示出代表高压力的红色，之后，随着水被吸收，逐渐变为代表低压力的蓝色。从左侧的RGB视频中，我们看不出任何信息，但如果是多光谱就能看出其中的变化。虽然这项技术还处于研究开发阶段，但如果未来能大规模推广，就有望科学、实时地观察农作物的生长过程，提升农业的生产效率。

以扩大感动空间的技术，提供新奇体验

作为为人类提供新奇体验、扩大感动空间的技术，VR与AR备受期待。这里记载了头戴式显示器和AR眼镜可能实现的应用，以及有望实现这些应用的设备。我们认为这是一个未来潜力巨大的领域。

此次，我们将请大家观看通过4K OLED微显示器实际看到的VR影像。左眼用和右眼用的影像是分开的，但影像本身并无区别。由于存在微妙的视差，因此，在实际的VR用头戴式显示器上观看时会感觉更加立体，用户可以体验到非常逼真的影像效果。

不知大家对我的介绍有何感想。对创作者的支持，社会的安心与安全，可持续发展的地球环境，以及感动空间的扩大。我相信我们通过自身拥有的技术，可以在“构成感动的价值链”的各个领域中做出贡献。而出发点就是不断向全世界传达我们Purpose的关键词“感动”的心愿。我们将通过不断追逐感动，发展事业。

包括图像传感器在内的半导体市场是一个极具成长性的产业，预计到2030年其市场规模将达到1兆美元。
今后，SSS也将作为成像与感知技术的行业领先企业，带动市场不断成长，为半导体产业的发展做出贡献。