3d深度相机特点是什么？一起来了解一下吧
一、3d深度相机特点
1、结构光技术，根据光信号的变化计算物体的位置和深度等信息，快速复原抓取物件的三维空间，实现高精度识别。
2、高帧率+智能算法，采用高帧率相机和特有的处理算法，能在小幅抖动下快速获取准确的三维信息。
3、3d相机组采用MEMS编码光栅结构光进行扫描，根据图像恢复算法重建出物体的真实三维点云数据。
4、满足工业级高分辨率、亚毫米测量的三维视觉应用需求。
5、该设备体积小、景深大、测量精度高、成本低、操作简单。
6、3d深度相机可应用于生物识别场景。
目前市场上主流的有四种3d视觉技术：双目视觉、TOF、结构光3d成像和激光三角测量。
1、双目视觉
双目技术是目前较为广泛的3d视觉系统，它的原理就像我们人的两只眼睛，用两个视点观察同一景物以获取在不同视角下的感知图像，然后通过三角测量原理计算图像的视差，来获取景物的三维信息 。
由于双目技术原理简单，不需要使用特殊的发射器和接收器，只需要在自然光照下就能获得三维信息，所以双目技术具有系统结构简单、实现灵活和成本低的优点。适合于制造现场的在线、产品检测和质量控制，不过双目技术的劣势是算法复杂，计算量大，而且光照较暗或者过度曝光的情况下效果差。
2、3d结构光技术
它通过一个光源投射出一束结构光，这结构光可不是普通的光，而是具备一定结构（比如黑白相间）的光线打到想要测量的物体上表面，因为物体有不同的形状，会对这样的一些条纹或斑点发生不同的变形，有这样的变形之后，通过算法可以计算出距离、形状、尺寸等信息从而获得物体的三维图像。
3、激光三角测量法
它基于光学三角原理，根据光源、物体和检测器三者之间的几何成像关系，来确定空间物体各点的三维坐标 。
通常用激光作为光源，用CCd相机作为检测器，具有结构光3d视觉的优点，精准、快速、成本低。
4、TOF飞行时间法成像技术
TOF是Time Of Flight的简写。它的原理通过给目标物连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行时间来得到目标物距离。
TOF的核心部件是光源和感光接收模块，由于TOF是根据公式直接输出深度信息，不需要用类似双目视觉的算法来计算，所以具有响应快、软件简单、识别距离远的特点，而且由于不需要进行灰度图像的获取与分析，因此不受外界光源物体表面性质影响。典型的TOF 3d扫描系统每秒可测量物体上10,000至100,000个点的距离。不过TOF技术的缺点是：分辨率低、不能精密成像、而且成本高。
总的来说，无论是立体视觉、结构光、激光三角测量还是TOF，没有哪种技术是更好的，只有哪种技术是更适合的。
基于芯片造款相机，对话肇观电子CEO，起底Feynman智能深度相机
芯东西（公众号：aichip001）
作者 | 高歌
编辑 | 漠影
芯东西12月10报道，近日，国产视觉AI芯片公司肇观电子推出了基于NE-D163A芯片的深度3D AI相机Feynman。
NE-D163A芯片是肇观电子在今年1月份推出的第二款D系列3D视觉芯片，具有高精度3D深度计算能力、支持200余种通用数学计算和较高的AI计算能力。
在这款芯片加持下，Feynman系列智能深度相机采用主动双目视觉技术，在室内外各种场景均能生成高帧率和高精度的深度图，同时支持端侧AI算法的部署，能够帮助机器人、安防、AR/VR等行业的厂商实现精确定位、避障和分析等需求。
芯东西采访到了肇观电子创始人兼CEO冯歆鹏，就Feynman相机研发背后的故事，以及肇观电子对于智能深度相机赛道看法进行了深入地探讨。
肇观电子创始人兼CEO冯歆鹏
Feynman系列相机的诞生还要从NE-D163A芯片说起。该芯片具备高AI算力和高精度3D深度计算能力，支持200余种通用数学计算。
简单来说，NE-D163A芯片在机器人上，可以消除传统近距离盲区，提供周边障碍的位置和距离；在近距离的人脸识别中，假如被测人员张嘴，NE-D163A可以精确识别嘴内外的深度不同。
肇观电子NE-D163A视觉AI芯片
芯片很好，也满足了机器人、AR/VR、安防、工业等不同行业的痛点。但是在AI视觉这一新的赛道，相应的模组厂商和系统厂商都不成熟，找上门的终端客户需求也不尽相同。
冯歆鹏称：“市场的反馈是，有的客户是有能力自己研发基于芯片的产品，有些客户希望能拿到一个半成品（不光是提供芯片），有些客户就希望拿到一个相机，然后进一步推动他们产品的研发。”
最终，为帮助终端客户实现快速AI落地，肇观电子决定自己做一款3D视觉 AI的智能深度相机。这个决定并不简单，一款合格的智能深度相机除了芯片，还需要面对传感器光路设计、软硬件结合、平衡系统功耗等不同的挑战。
可以说做一款智能深度相机，肇观电子要打通一整条产业链，而上一个这么做的是家大业大的英特尔。就算是英特尔，最近也为了专注芯片制造等核心业务，正在缩减RealSense深度相机业务规模，甚至会关停其部门。
英特尔RealSense D435（左）与Feynman M1（右）
在产品之外，肇观电子的客户涉及各个不同的行业，仅机器人就既有用于内蒙古强烈光照环境下的智能采集机器人，也有用于冷库中的物流机器人，对环境要求可谓是天差地别。如何挖掘客户需求进行精准地描述，最后加以解决是一个关键的挑战。
冯歆鹏透露，为了解决种种挑战，肇观电子动员了很多部门进行研发，最终在NE-D163A芯片的基础上自主完成了算法、光路、硬件、软件、结构、认证等各方面的设计研发。
作为芯片公司的肇观电子，最大化地发挥出了NE-D163A芯片的性能优势。NE-D163A芯片作为主控芯片，内嵌几何和深度引擎DEP、AI加速引擎NPU和视觉加速引擎DSP。
在芯片的加持下，Feynman相机自带1.2Tops INT8/0.6Tops FP16的AI算力和666 DMIPS的CPU运算性能，是业界唯一一款内嵌AI和DSP扩展算力的深度相机。这对Feynman的部署起到了关键作用。
不同芯片跑经典网络模型每秒处理的图片帧数对比
此前，终端客户如果采用英特尔的RealSense相机，往往需要搭配i7系列的处理器。这种方案对最后终端产品的成本、功耗都不友好，还需要占用处理器带宽，造成延迟等问题。
相比之下，内嵌高算力芯片的Feynman应用更加简单，可以直接在端侧处理视觉数据，无需外挂其他处理器，就可以产生性能高达720P 30FPS的深度图。
因此Feynman相机既不需要向后传输数据，也降低了终端产品的中控算力要求，对客户来说部署成本和使用成本都更低。Feynman相机整体的功耗水平在2W-3.8W之间，根据所运行的AI模型大小不同有所浮动。
同时，在最重要的图像探测上，Feynman相机搭载了散斑结构光、双目红外摄像头IR模组、彩色摄像头RGB全局曝光模组以及惯性测量单元（IMU）等传感器，能够提供多维度的信息。
Feynman M1结构图
这些传感器并不是Feynman的探测极限。冯歆鹏强调，NE-D163A芯片支持当前双目立体视觉、结构光、ToF（飞行时间传感器）、激光雷达等各类传感器，Feynman传感器配置是在功能、性能、成本和功耗四个维度考量后决定的。
当前Feynman相机的传感器可以最大化的满足客户需求，实现如在障碍物到相机仅有10cm的距离下仍能准确分辨等功能。如果客户需要使用其他类型的传感器，Feynman相机也能够满足需求。
实测数据显示，Feynman的空洞率仅为0.2%，而同一环境下英特尔的RealSense空洞率在1%左右，这意味着Feynman相机采集到空间位置的有效信息更多。同时，Feynman的深度图具有90°对角的广角视场，比常规深度相机的视野更广。
Feynman M1深度图效果
最重要的一点则是，肇观电子对Feynman相机的研发目标就是适应所有他们见过的场景，这里面就包括前文提到的内蒙古10万流明光照环境、冷库中低温环境和黑暗环境等。
为此，肇观电子在Feynman相机内部的光路设计上花费了不少心思，使其能够精确地控制补光和传感器曝光。结合NE-D163A芯片的自学习ISP流水线架构，Feynman相机在各种复杂光照环境下均能获得优质的图像。
不同光照环境下的图像处理对比图
对于智能深度相机这一赛道，冯歆鹏表示看好。从技术发展来看，工厂的高度自动化、万物智联的发展趋势是必然的。在这样的大趋势下，智能设备需要具备视觉能力，甚至要让智能设备自己看懂世界。
这一宏伟蓝图的关键，就是视觉系统，也就是智能深度相机。假设全球人口继续增长，每个人周边的智能设备也会越来越多，而这些智能设备都需要具备视觉能力，所以肇观电子对这一赛道的市场前景十分看好。
现实来讲，肇观电子已经看到数十家Feynman相机的潜在客户。
为了让Feynman相机应用于各个客户，肇观电子提供了Windows、Android、Linux的驱动SDK，客户通过中控直接加载就可实现通信，完成对Feynman相机的部署。
Feynman相机对各平台SDK的支持
对于需要利用端侧AI和DSP算力的产品和深度定制的客户，肇观电子则有一套InferStudio™工具链。客户可以通过InferStudio™将自己的神经网络翻译成一个镜像文件，以提供给Feynman相机使用。
在整个采访中，冯歆鹏谈到了很多次Feynman相机在研发和落地过程中的挑战和困难，有一部分原因是AI芯片产业链并不完善。作为芯片公司的肇观电子在Feynman相机的研发过程中，同时扮演了模组厂商、系统厂商的角色。
相比卖芯片，基于NE-D163A芯片研制Feynman当然挑战的环节更多，但在冯歆鹏看来，这是肇观电子参与产业链塑形的一个过程，能够帮助更多地客户找到AI落地的正确路径和方法，有着更为实际的意义。
AI将改变各行各业已成为产业共识，但由于产业链不成熟使得AI落地需要花很大力气；如何破解AI落地难的问题一直在困扰整个人工智能行业。对于很多AI芯片玩家的创始人，一方面他们有着深厚的芯片从业经历，另一方面却要面对产业链并不完整的新问题。
肇观电子作为AI芯片赛道的参与者，亲身参与了产业链的构建，Feynman相机也是他们对于行业挑战所提交的一份答卷，结果如何值得行业期待。
