发布日期:2024-12-25 00:30 点击次数:92
还记起那条闹得沸沸扬扬的“裙子”吗?有东谈主说它是蓝玄色的白丝,有东谈主却坚称是白金色。这条裙子在2015年刷爆了各人应酬媒体,连科学家齐被卷入了这场争论。为什么团结张像片,在不同东谈主眼中看到的颜色会绝对不同?
它是蓝黑也曾白金?| Swiked/Tumblr
其实,这种“眼见不为实”的经验,咱们险些天天齐在经验。在餐厅拍了沿路色香诱东谈主的菜品,发到一又友圈却变得漆黑无光;在市场里看中一件翠绿色的上衣,拍照发给闺蜜,她却说:“这不是军绿色吗?”
问题不在你的眼睛,而在手机的“眼睛”——录像头,确切来说,是录像头里感光用的传感器。这不是某个品牌或者某款手机的问题,而是系数手机齐濒临的辛苦。
不外最近,华为在新发布的Mate 70系列手机上带来了一个荒谬的科罚决议—— 一颗被称为“ 红枫原色录像头”的新式录像头。红枫录像头的全名,叫作念“150万像素、9光谱通谈录像头”,分辨率比720P视频略微明晰少量点。这个录像头的旨趣,尽然和 航天遥感卫星是一样的。
伸开剩余90%天生“色盲”
这样说可能会让你大吃一惊,但其实你的手机录像头,和系数的数码相机一样,天生齐是“色盲”的。它们的感光元件 只可分辨光辉的强弱,绝对无法分辨颜色。
就像咱们眼睛里有无数轻细的感光细胞能感受到光辉一样,手机录像头里也布满了这样的感光元件。当光辉照到这些感光元件上时,它们只会产生一个浅薄的信号——“这里有几许光”。但它们不知谈这些光是红色的、绿色的,也曾蓝色的。这就像一个色盲的东谈主,他能看出亮暗,却分辨不出颜色。
那手机为什么还能拍出彩色的像片呢?这就要提到1974年,柯达公司一位名叫布莱斯·拜耳(Bryce Bayer)的工程师想出的一个绝妙的意见了。
红、绿、蓝三原色不错调配出系数颜色 | Immanuelle
你可能在好意思术课上学过,红、绿、蓝是三原色,它们的组合不错调配出系数的颜色。想让“色盲”的传感器分辨颜色,最容易意想的决议便是用三块传感器,分别记载红、绿、蓝三种颜色,再组合成一幅图像。
但柯达公司说,这不是面前地球东谈主应该有的时刻,造出来了也没东谈主买,太贵。
连柯达也造不起这样贵的诞生 | Giphy
拜耳莫得毁灭。既然三块传感器太贵,那为什么不在一块传感器上作念些著述呢?他盯着桌上的影相用彩色滤光片,一霎顿悟:若是 把这些小小的彩色滤光片,像铺瓷砖一样贴在传感器上,是不是就能让不同位置的感光点分别记载不同的颜色?
灰色的是传感器,彩色的是滤光片 | Wikipedia
就这样,拜耳谋略出了一种像马赛克一样的彩色滤光片阵列:在每四个相邻的感光点上,遮蔽一派红色、两片绿色和一派蓝色的滤光片。
为什么绿色滤光片要用两片?这是因为东谈主眼对绿色最敏锐,多放一些绿色滤光片,能让像片看起来更相宜东谈主眼的嗅觉。
拜耳的札记本,中间的方格便是拜耳阵列 | KAPcooney
这个发明透顶更变了数码影相的历史。今天,险些系数的数码相机和手机录像头齐在用这种决议。它有个郑重的名字,叫 “拜耳阵列”,仅需一块传感器,就能拍出彩色图像。
但这个决议并不完整:每个感光点上只可放一种颜色的滤光片,这就意味着每个位置只可记载一种颜色的信息,另外两种颜色的光究竟有多强?谜底是不知谈, 只可靠算法来猜。
这种“猜”的形状在大多量情况下齐能移交曩昔,但在某些场景下就会暴露。荒谬是在单调的纯色布景,或者复杂的光源下,相机就无法猜出“委果的白色”,白均衡变得东倒西歪,像片色准也就更容易跑偏。
这便是为什么有期间咱们会觉奏凯机拍出的像片“色调不真实”。
上图由加滤光片的相机拍摄,下图由手机拍摄。哪个更接近施行?yingliuzhizhuzed, GitHub
Mate 70和 Mate 70 Pro齐选择了拜耳阵列的排布形状。咱们将这种两绿、一蓝、一红的传统陈设形状称为 RGGB。
在Mate 70 Pro+上,录像头则选择了 RYYB的陈设,用黄色替代了绿色。之是以这样作念,是因为黄色滤光片的透光性更好,传感器能收罗到更多的光辉,在暗光环境下拍摄成果更好。
一暗一明,对比流露 | Autel Robotics
不外这也带来了新的挑战:按照红、绿、蓝三原色旨趣,黄光中既包含红光,也包含绿光。固然进光量加多了,但黄色滤光片让红光和绿光齐不错透进传感器,这样就更难揣度物体到底是红是绿,具体又有多红多绿了。
想要准确收复颜色,需要更复杂的时刻。
天下上有几许种颜色?
要科罚这个问题,要害就在于:能不行让相机减少“揣度”,平直准确地 记载更多颜色信息?
这便是华为“红枫原色录像头”要作念的事。
刚才提到红、绿、蓝三原色,在影相和遥感中,称之为“通谈”。手机和相机便是通过这三个“通谈”,蚁集三种不同颜色的信息,用来合成彩色像片的。但哪怕算力再高、算法再先进,若是只可看到这三种颜色,也总会有劲不从心的期间。
最浅薄的科罚决议,是 加多通谈的数目。
阳光透过三棱镜酿成的七色调虹 | Steed 摄
你一定属意过,当阳光透过三棱镜时,会散播成彩虹的七种颜色。本色上,当然界中委果的光,齐不错被剖释成不同的颜色,而那些颜色毫不是红橙黄绿蓝靛紫那么领域分明,而是握续收敛蚁集变化的。这些蚁集变化的颜色,科学家称之为“光谱”。
通谈数越多,对施行中光辉的收复进度也就越好,像片的色调也会愈加靠近施行。这很好领会,和三原色比起来,七种颜色的组合会更像真实的彩虹,对吧?
颜色越多,越像确凿 | EPSON, Britannica
红枫原色录像头的通谈数目为9个。也便是说,在它的不同的感光点上,遮蔽了9种不同的滤光片,因此 它能“看见”9种不同的颜色,用来拟合真实的光辉。
另一种9通谈的多光谱传感器,相同有9种滤光片 | 昊量光电
若是用一位画家的调色盘来打譬如的话,传统手机录像头只消红黄蓝3种形式,而红枫原色录像头则是一个有9种颜色的调色盘。形式越多,调配出的颜色就越准确,画出来的画也就越真实。
官网先容“150万多光谱通谈”,断句不解,不太科学 | 华为
红枫原色录像头的像素数只消150万,这在今天看来照实不高,只略强于iPhone 5s的前置录像头,但它的职责不是拍照,而是 像一位“颜色总监”一样,引导手机上其他高像素录像头应该如何收复色调。
天降导演组,准备开拍 | Giphy
这种责任形状带来了流露的成果。以往手机在复杂光辉下容易拍出偏色的像片,比如晚霞下的像片偏红,阴天拍摄的像片偏蓝。有了这位“颜色总监”,手机就能更准确地判断现场的光辉颜色,从而拍出更接近东谈主眼所见的像片。
上图无红枫录像头,下图有红枫录像头 | 石洲一又 摄
还记起著述来源提到的那条裙子吗?若是拍那张照少顷,有这样一位“颜色总监”赞理调色,大致就不会有那么多争议了。
拍花,拍矿,拍地球……
说到这里,你可能会问:这种时刻和航天遥感卫星有什么关系呢?
当卫星在几百公里的高空拍摄地球时,它需要准确分辨底下的是丛林、农田,也曾城市。这个任务并拦阻易。比如从天际往下看,一派健康的农田和一派受病虫害侵袭的农田可能齐是绿色的,平日相机很难分辨。但在多光谱时当前,健康的农作物和生病的农作物会涌现出绝对不同的“颜色指纹”。通过这种形状,科学家不错实时发现农作物的助长景况,甚而瞻望产量。
红枫录像头的旨趣,和遥感卫星多光谱时刻一脉调换,仅仅它的通谈在可见光限制内切割得愈加淡雅。若是有东谈主真能把一台Mate 70奉上天际,它的红枫原色录像头就能像遥感卫星一样责任,拍下地球9通谈的卫星像片——固然分辨率可能差一些。
信使号探伤工具多光谱拍摄的地球,红色是被象征的植被 | NASA
面前,这颗录像头仅仅影相管线的一部分,咱们还无法平直用它来拍照。假如咱们不错单独调用这颗录像头,说不定能拓展出不少好玩的期骗。
可乐、酱油、醋和红酒也能靠多光谱来鉴识 | 友想特
当今只剩下一个问题:手机有了,什么期间买火箭把它奉上卫星轨谈呢?
参考文件
[1] https://www.imaging-resource.com/news/2012/11/20/bryce-bayer-who-created-bayer-filter-for-digital-cameras-has-died
午夜电影[2] https://viewsitec.com/infrared-series/hyperspectral-camera/hyperspectral-imaging/
[3] https://www.britannica.com/science/spectrum
作家:深想
剪辑:Steed
封面图来源:Swiked/Tumblr
如有需要请关连sns@guokr.com白丝
发布于:北京市