爱范儿爱护「明日家具」,硬形而上学栏目试图剥离时间和参数的外套,探求家具假想中东谈主性的本源。
主摄、长焦、超广角,号称手机影相的「三大金刚」,基本上能应酬大部分用户的日常拍摄场景,一些影像旗舰手机,还会在这基础上多配备一个长焦镜头,得志更极致的创作需要。
最新发布的华为 Mate 70 Pro 和 Pro+,也有四个录像头,只是多出的一个有点畸形:华为称其为「红枫原色录像头」,骨子其实是一个小型多光谱仪。
多光谱成像仪主要应用于水土农业、食物检测等更专科的场景,智妙手机应用不仅不错说未几见,像华为这颗这样高参数的镜头,险些不错说莫得。
但在不远方的畴前,雷同的多光谱传感器模组,会来到咱们身边的更多智能缔造上。
措置拍照「色弱」问题天然智妙手机厂商卷影像能力还是有不少的年初,手机上的录像头模组越来越大,越来越凸,但耐久有一块难啃的骨头尚需措置——色调规复。
现时传统的手机相机传感器正常通过捕捉红色、绿色、蓝色(RGB),来呈现一定范畴内的颜料,每个像素唯有红、绿或蓝一个色调信息,需要通过算法,荟萃周围像素的色调关系,推算出每个像素点的真正颜料,最终尽可能规复出咱们肉眼所见的风景。
▲ 单个像素只庄重单个颜料的信息记载
但用红色、绿色、蓝色构成的颜料,仅为东谈主眼可见色调的 75%,成片的颜料赔本相比大。
何况,既然是靠算法「推算」,准确性天然无法完全保证;而在相比复杂的色协调晴朗的环境下,算法的准确性会进一步镌汰,这亦然为什么未必拍出来东谈主的肌肤会发黄、发红。
要想措置偏色的问题,厂商尝试从软件和硬件两个地方起始。
靠探讨影相发财的 Google Pixel,就推出了名为「Real Tone」的色调算法,在相片后台处理时,规复不同东谈主种的真正肤色。
也有许多厂商也尝试调遣赛谈,不追求好意思满的色调规复,而接受立场化的想路,让相片呈现更好的视觉不雅感,而不是百分百的规复。
而华为从 P20 手机开动搭载 5 通谈色温传感器,连续升级到 P50 系列的 10 通谈多光谱色温传感器,能够捕捉普通 RGB 以外的波段,包括可见光以外的一些波段。
然后通过 XD Fusion Pro 的算法,将可见光和非可见光交融,呈现更多色调细节。
通过多通谈多光谱传感器来尝试改造相机的「色弱」,其实亦然行业内的一个主流决策,像是 vivo、OPPO 都尝试过在旗舰上配备雷同的多光谱色温模组。
浅薄来说,这类传感器能够捕捉更多特定波段的色调,但只可对举座的环境光作念一个总体感知和判断,无法提供局部光源和色调信息,也不具备成像能力。
而 150 万像素的红枫原色录像头模组,骨子上是 150 个孤独的多光谱仪,对色调的利弊度更高,何况具备了成像的能力,也即是能够同期获得二维图像和色谱信息,记载能力也远远超出了 RGB 三色。
▲ Spectricity 也坐蓐雷同的多光谱录像头
用东谈主话来说,即是华为 Mate 70 Pro 的主摄、长焦、超广角正常拍摄高清相片,而原色录像头特意记载相片中的每块区域的色调细节,然后处理器按照这些精确的色调信息给相片润色。
但这颗参数不低的多光谱录像头的上限,远远不啻于此。
手机的 「洞烛其奸」不同物资对不同的光罗致、反射情况不同,会呈现不同样的光谱。
浅薄来说即是不同的物资会呈现不同样的「颜料」,有些是肉眼可见,有些则需要通过多光谱录像头捕捉。
而通过这些光谱,咱们就能臆测出物资现时的性质和情状,因此多光谱仪的身影不时出现时在环境监测、农林牧业、医学会诊、化学分析、刑事探员等专科范畴。
关联业界东谈主士见告爱范儿,行业内光谱模块像素最高能作念到 200 万,而华为 Mate 70 系列上的多光谱录像头达到了 150 万像素。
这样的教学唐突还不行应用于上述的专科范畴中,但要是华为满足怒放第三方接口,还能让这台面向破钞者推出的 Mate 70,创造更多可能性。
比如从菜商场买回想的农家具,咱们不错就不错使用手机上的多光谱仪进行扫描,肉眼无法径直看出的农药残留,也会因为不同样的光谱特征,被多光谱录像头发现。同理,也能用于检测纸巾荧光剂。
▲通过高光谱相机离别发霉的李子和异物,图源:advian
像是皮肤的情状,也能通过多光谱仪拍摄,提前发现皮肤干燥、明暗、暗千里、色斑等问题,以便进行皮肤料理。
而由于血液呈现的近红外、中红外光谱,表面上也能被光谱仪识别,因此有可能通过华为 Mate 70 系列进行一个「自拍」,对体格的血糖、血氧等目的进行一个拙劣的监测。
总之,这个多光谱录像头,的确就像孙悟空的「洞烛其奸」,只是通过「看」,就能让物体「现原形」。
关于 AI 来说,这皆备是心弛神往的能力。
现时的 AI 助手和外部全国的交互模式,主要通过录像头拍摄图像后进行分析,但一张平面图的信息有限,AI 也很难进行更多延长解读。
▲ iPhone 16「视觉智能」
而要是多模态 AI 能够调用多光谱录像头,就能极大丰富其能获得的外部信息。比如「看」一眼雪柜,AI 就能字据光谱特征分析出食材崭新度,给出更恰当、详备的晚餐食谱淡薄。
跳起始机,来到智能家居上的光谱录像头,也有着广袤的施展空间。想象一下,一个能智能判断食材情状的烤箱,不需要用户手动设定温度和时辰,我方不错决定出最优的烹调模式。
用手机拍小狗来进行智能识别会被吐槽,但要是是能拍小狗进行一个皮肤病速检,那即是的确转换活命。
更多确直立在路上这样好用的多光谱仪,为什么直到今天,才来到咱们的手机上?
传统的多光谱仪器体积和分量,其实远远莫得能压缩到手机相机模组的地步。多光谱仪顶用于分光的中枢器件——光栅体积难以松开,还需要一定的传谈范畴,为了更大的光谱范畴,未必还需要在仪器内放入复数个光栅。
▲ 一个光谱仪的旨趣图,中间的即是光栅
国内光学企业求是光谱公司就摸索用算法的模式,替代了物理分光元件,使得光谱仪得以顺利松开。
▲ 求是光谱的多光谱相机
另一个扯后腿多光谱录像头参加智妙手机的成分是算力:当按下手机拍摄快门,处理器需要利用详备的光谱信息完成对相片的处理,要是性能跟不上,就会使笔直机出片刻辰变得很长,严重影响拍摄体验。
在集成了 CPU、GPU、NPU(AI 处理器)的手机处理器性能不休兑现遏抑后,这个问题也应刃而解。
2022 年,华为哈勃入股求是光谱公司,2 年后的今天,首部搭载 150 万像素的多光谱仪的智妙手机华为 Mate 70 系列出身。
但华为此次不会逾越太久,现实上,外洋也还是在探索雷同的谈路,将多光谱芯片引入转移缔造。
一家名为 Spectricity 的比利时企业,于 2023 年推出了特意为智妙手机打造的多光谱传感器 S1,旨趣和后果与红枫原色录像头雷同,也能普及手机录像头成片的色调准确度。
▲ Spectricity 的多光谱相机模组
本年,Spectricity 晓喻与高通公司合营,意见是为高通骁龙平台拓荒出优秀的光谱图像传感器家具。
现时暂时还莫得搭载 S1 的破钞者手机家具面世,但 Spectricity 方面暗示,还是和几家手机厂商达成合营,其中有来自中国的品牌,关联的家具行将发布。
也许来岁,这颗现时对大师而言还有点目生的传感器,就会在各家旗舰手机发布会上时常刷脸,成为又一个新颖的卖点。
而关于破钞者而言,这颗录像头不仅意味着咱们能拍出色调更准的相片,还蕴含了翻新东谈主机交互的新可能。
参考著作:
《光谱相机,史上最出彩华为Mate的一颗“慧眼”》
《光谱成像,迈起始机 AI 影像的新纪元》