“我们相信在智能手机中开发和使用光谱成像仪是一个真正的机会。尽管使用不同的相机和智能手机的计算能力取得了所有进步,但没有人能够真正识别图片的真实颜色。”
这就是Spectricity首席执行官 Vincent Mouret 在最近的一次采访中描述公司对数字趋势的使命的方式,以及它制造可用于智能手机的微型光谱图像传感器的原因。但究竟什么是光谱传感器,它是如何工作的呢?事实证明,它可以做的不仅仅是捕捉漂亮的颜色。
你见过这种颜色吗?

在讨论所有这些之前,让我们先谈谈 Spectricity 的 S1 多光谱图像传感器对相机的作用。大多数手机摄像头使用三色 RGB(红、绿和蓝)传感器,但 Spectricity S1 传感器可以更深入地观察可见光和近红外范围,以重现更自然、更一致的色彩,并显着改善白平衡。
“集成到智能手机中的标准相机有一个 RGB 传感器,可以看到红色、绿色和蓝色,”Mouret 说。 “我们添加滤镜以创建多达 16 种不同的图像,这些图像具有不同的颜色、不同波长的光、来自不同来源的光以及来自场景对象的反射光。与标准 RGB 相比,由于这些不同的图像,您可以识别许多不同的属性。”
这意味着无论光照条件如何,配备 S1 传感器的手机拍摄的图像都将具有更一致的颜色,如下面的示例图像所示。在我们的谈话中,我看到了一个现场演示,它复制了示例中的色彩再现和一致性,但值得注意的是,传感器是由 PC 而不是智能手机操作的。

“你会看到小米、三星、苹果和华为相机在不同光照条件下的颜色差异很大。在用我们的光谱成像仪拍摄的同一场景中,存在细微差异,但差异很小。图像中的颜色是我们肉眼看到的颜色。你可以看到所有的智能手机都会产生非常不同的颜色。”
这种色彩准确性还将提高智能手机相机更好地再现不同肤色的能力。在另一个示例图像中,S1 传感器似乎也在这里显示出相当大的改进。
“根据光照条件,你可以看到肤色完全不同,”Mouret 指出。 “解决方案是使用光谱成像仪来分析照明条件,以真正给出正确的色调。这是唯一的方法。你可以在它背后放很多人工智能,但这还不够。你需要一些额外的硬件。”
不幸的是,Mouret 手头没有谷歌 Pixel手机来比较 S1 传感器和谷歌的 Real Tone 计算技术,后者承诺做类似的事情,只是使用软件增强功能。
是传感器还是摄像头?
像 S1 这样的光谱图像传感器的好处似乎很明显,谁不想在他们的照片中获得更有效的白平衡和自然、一致的色彩呢?但是 Mouret 描述 S1 能力的方式使它听起来更像是一个相机而不是一个传感器。是哪个?它真的可以装进智能手机吗?如果是这样,需要进行哪些修改?
运行我观看的演示的 Specricity 应用工程师 Michael Jacobs 解释了 S1 的实际含义。
“它真的是一个配套传感器,非常类似于深度传感器或与 RGB 相机一起使用的 3D 传感器,”他证实道。
但是,从技术上讲,它确实会拍照,但不是您想要单独使用的照片,正如 Mouret 解释的那样:
“我们的图像传感器具有 VGA 分辨率,800 x 600 像素。您需要将这个较小的光谱图像与 RGB 图像结合起来。模块本身真的很小。它被设计为集成在智能手机中。所以它是 5 毫米乘 5 毫米乘 6 毫米,”Mouret 告诉我,然后详细介绍了传感器的构建方式。他解释说:“这并不容易,但也不是很复杂,我想说,”他说该模块是使用与常规 CMOS 传感器相同的方法构建的。 “就总体成本而言,完整模块的成本与大批量标准相机的成本相同。”

目前,该传感器将与高通和联发科智能手机处理器使用的标准图像信号处理器 (ISP) 集成,但需要额外的软件才能运行。
S1 多光谱图像传感器并非只会一招,实际上还有一个有趣的第二个功能,即它可以识别和分析皮肤生物标志物。这意味着它能够判断它是否“看到”了一个真人,这可以用于安全应用——例如,它知道某人是否戴着面具来隐藏他们的身份——皮肤护理,甚至在健康应用中结合人工智能和其他软件。它还可用于增强人像模式照片。
什么时候会用在手机上?
一段时间以来,制造商一直致力于改善手机的色彩再现,早在 2016 年的LG G5上,它就使用了专用的色谱传感器和激光自动对焦传感器来改善色彩表现。华为采取了不同的方法,放弃了P30 Pro上的 RGB 传感器,转而使用 RYYB 传感器,以努力更好地再现色彩并改善低光性能。奥林巴斯和Imec还针对不同应用试验了近红外 RGB 传感器。
Spectricity S1 传感器是世界上第一款传感器,与这些示例的方向不同。根据演示和示例图像,它显示出相当大的前景——但我们什么时候才能在手机上看到它呢?
“一开始,它将在高端手机上推出,”Mouret 说。 “到 2024 年将是小规模,2025 年将增加,然后从 2026 年开始,将更加广泛。”
Mouret 还预计,首批示例将来自中国智能手机制造商,而不是三星和苹果等公司。不过,Mouret 预计这种情况在未来会有所改变,在CES 2023 的 S1 传感器新闻稿中,他并没有隐瞒自己的预期,他说:
“我们预计首批配备 S1 的智能手机型号将于 2024 年发布,我们预计未来几年内所有智能手机都会采用我们的技术。”
是的,所有智能手机。这是一个很大的目标,但如果我们在演示中看到的性能是我们最终从带有 S1 的手机摄像头中看到的性能,那么很少有制造商愿意落在后面。