小米和华为作为国产品牌两大翘楚,从产品到市场互不相让的局面已经由来已久。
但是真的在微博上 互相吵起来,却并不多见。
前两天画风是这样的:
小米:土鳖……TOF 我早就研究了个底儿朝天,请不要随便说“首创”好嘛
华为:请问你整明白了吗,就瞎说,TOF好的很(然后顺手给自己某个手机打了个广告)
微博截图:
热闹看完了,吃瓜群众表示非常满意,瓜很好
那么,TOF 到底是个啥
TOF 是什么
TOF 是 Time Of Flight 的缩写,就是 “光,飞行的时间”的意思。
比如说,我们有一个手电筒,然后在月球上放置一个镜子(事实上月球真的有美国登月时放置的一面镜子),我们打开手电筒开关的同时按下秒表开始计时,等光线到达月球上的镜子,然后返回到我们眼睛里的同时再按下秒表结束计时。这样就知道了:“光从地球飞行到月球花了多长时间”,由于我们事先知道 光的速度,所以就可以计算出地球到月球之间的距离。这种测量距离的方式就是 TOF
以上,就是TOF的简述,相信各位已经明白,那么继续扩展。如果只用一个手电筒,那么我们只能知道 很远的距离 一个点 有多远。
能不能再给力一些?
好,这次我们把 1万个手电筒搬到一起,根据由点构成面,我们就可以知道前方一个物体的大概轮廓了,而且分辨率是 1万。
能不能再给力一些?
好,这次我们把手电筒和传感器数量增加到30万个,发现获得了比刚才清楚地多的轮廓。但是30万个手电筒绑在一起实在是太大了。
能不能再给力一些?
好,我们这次利用先进的半导体工艺,把每个手电筒做的极其小,小到几十万上百万个手电筒和接收光线的传感器聚集到一起也没有指甲盖那么大,终于看起来像一个能塞进手机的物件了。而且考虑到实用性,我们这次发射不可见光 —— 红外线。
这就是现在手机上的 TOF
目前已经有少数几款手机搭载了 TOF 技术,与之 类似的还有大名鼎鼎的iPhone 的FaceID,微软 xbox 配套的 kinect,intel的 3d real sense技术。
TOF / 深度识别 能干什么
前面讨论了TOF的原理,所以可以看出和 iPhone 的true depth 深感识别相机作用一样,TOF也是用来“探测”真实的具有深度信息的轮廓,可以知道摄像头前面是立方体和长方形的区别
那么深度识别能做什么呢
我们先来看看目前主流的应用:
- 人脸识别
在手机最早具有人脸识别功能的时候,利用的是图像识别,就是用一些算法来比较系统里存的照片 和 前置摄像头拍摄的 照片是不是同一个人。这个办法最大的问题是很容易用一张照片“骗过去”。
所以到了 iPhone X的时候,苹果提出了 Face ID的概念
就是用 一种和 TOF 相似的技术 —— 结构光,来检测 摄像头前这张脸的 深度轮廓信息:哪里凹陷哪里凸起。在当时,这是个很惊人的技术,因为 它不只是实现了更安全的人脸识别,更重要的意义在于破天荒给摄像头增加了一个维度。
而 苹果的 FaceID 和 TOF 到底哪个更好,现在还没有定论,但是在当时,Face ID 所用的结构光技术是更成熟的,因为苹果的 技术是收购来的,而被收购的那个公司早在2013年就展出了 TOF 样品,所以有理由推测,苹果最终选择了更成熟的结构光技术。
- 背景虚化
背景虚化功能,在安卓手机上实现的更早一些,但是人物边缘声影的“抠图”处理,总是让人有出戏的感觉。毕竟,假如不知道眼前的人的立体信息的话,抠图只能是像photoshop那样对一张图片进行抠图,如果遇到背景杂乱的复杂场景,就很力不从心了。
而 苹果 有了 结构光立体识别之后,使用前置摄像头时就可以拿到“轮廓信息”,进而可以建立更精准,自然的抠图蒙版,来实现更接近真实 大光圈镜头的背景虚化效果。当然对于 iPhone来说,这是前置摄像头的实现方式,而后置摄像头是利用了另外的技术来拿到深度信息,只不过精度要差很多。
- 面部追踪 、 动作识别
面部追踪,这是iPhone 首先推出的一个功能: 用实时轮廓识别 + 图像识别 来检测人脸几十块肌肉的动作,并映射到 动画小人模型上,来实现实时的表情追踪:
动作识别,微软很早就为自家游戏机 xbox 配套了体感套件 —— kinect。而且目前已经进行了迭代,通过,对玩家身体动作的识别和追踪,可以实现非常有意思的游戏模式和互动方式,比如,打棒球,切水果等。
有意思的是,第一代 Kinect 原理和 iPhone 的结构光原理非常相似,而据传下一代 Kinect 将会使用 TOF技术。
AR 增强现实
AR 是 增强现实, 和 VR 虚拟现实的区别在于:AR 是在识别到 现实场景的基础上,为现实场景【增加】虚拟元素来实现交互效果。VR则是 不让你看到现实世界,完全通过显示手段(屏幕)来展示纯虚拟的内容。
AR的代表产品是 微软的 HoloLens:
VR的代表产品是 Oculus Rift:
既然 AR 需要识别现实世界先,这种场景下,TOF等技术就会显得不可或缺了。
脑洞 & 未来
简单介绍完 TOF 和目前的应用,希望能帮助到大家能对目前这些技术有个大概印象。那么 TOF 的未来又在哪里呢?我简单引申一下:
- 更高精度的 TOF —— 阿丽塔战斗天使
目前能见到的 结构光技术也好,TOF也好,在识别 轮廓时精度还不是很高,在不远的未来相信,这个是可以数量级的提高的(30万像素到300万像素)。那样的话,Animoji 可就不再只是做个表情那么小儿科了,甚至可以实时的 和 3D建模进行高精度联动。
参考:阿丽塔战斗天使的建模 + 追踪技术
- 更大覆盖范围的TOF —— 手机变身空间探测器
现在手机上的 TOF 功率限制,覆盖范围还比较有限,一般不超过1米。如果这个可以提高一个数量级达到10米,那么应用场景就会变得很有趣了。即便现在的水平,我预测未来1-3年,各家手机会在背面摄像头模组加上一颗 TOF镜头,包括 iPhone
- 结合深度学习
TOF也好,传统摄像头也好,都属于 传感器 的范畴,除此之外,传感器还有很多,比如气压传感器,有害气体传感器,陀螺仪,磁场传感器,光线传感器……
如果再抽象一层,对于手机的 cpu 和 npu来说,这些传感器都是 数据源。拿到数据之后,怎么做是下一步的事。
而,TOF 为手机增加了一层看世界的维度之后,极大的拓展和完善了数据源的信息,有了深度/轮廓/空间分布信息之后,再结合现在手机已经普遍优化的深度学习功能,就可以产生很多之前难以实现的功能,比如:根据脸部肌肉识别一个人的情绪,根据前置摄像头 + 深度信息识别来判断一个人的健康状态(肤色,皮肤纹理),通过走路姿态识别,提前预测一些脑部疾病……
TOF 开了一个好头