Apple Vision Pro的空间计算与主要芯片

作者:千芯科技 陈巍,文章来源: 半导体产业纵横微信公众号

在WWDC 2023 开发者大会上,苹果宣布了其操作系统和产品的一系列升级。但最大亮点是Apple Vision Pro,苹果的首款混合现实(Mixed Reality,MR,即VR+AR)设备,一经发布就成为世界热议的焦点。

“今天标志着计算技术新时代的开端。”苹果CEO库克说,“如同 Mac将我们带入个人计算时代,iPhone将我们带入移动计算时代,Apple Vision Pro将带我们进入空间计算时代。

1. 空间计算

空间计算是麻省理工学院Simon Greenwold 在其2003 年的论文中引入的一个术语。空间计算的实用化建立在人工智能 (AI) 、计算机视觉、芯片与传感器的技术进步之上。典型的空间计算包括自动化仓储、自动驾驶、工业制造、教育培训、游戏娱乐等应用场景。

例如在自动驾驶领域,通过多传感器融合和多模态计算,来识别周边环境、移动物体和人就是典型的空间计算。通过更强的算法和芯片,车辆就可以挑战更复杂的地形和驾驶场景。

空间计算市场的年复合增长率为18.3%(来源:http://market.us

空间计算可以用人工智能、物联网、增强现实等技术取代旧场景的计算。据国外市场研究机构评估,新技术进步的引入、智慧城市项目的发展以及物联网/车联网渗透率的不断提高,空间计算解决方案的需求会产生18.3%的年复合增长率。

3自由度与6自由度对比(来源:Qualcomm)

MR 感知和重建现实使用SLAM技术来完成,该技术经常使用在自动驾驶和机器人领域。基于SLAM技术扫视周围环境信息, 使用二维图像构建三维空间。

据称Apple Vision Pro 具备6自由度(6 DoF- Degree of Freedom)级别,用户视角在虚拟场景中不仅可以在俯仰、偏摆及翻滚三个维度旋转,用户的身体还可以在前后、上下、左右三个互相垂直的坐标轴上进行运动。

典型的3自由度与6自由度XR产品(来源:Raddit)

传感器处理芯片R1
Apple Vision Pro的核心芯片包括传感器处理芯片R1和计算芯片M2。除了这两颗核心芯片外,Apple Vision Pro还具有17个传感器、6个麦克风和两块4K级别的Micro LED作为显示。

据苹果称,新的R1芯片可减少 VR 中的晕动症,其多模态处理时间仅为 12 毫秒。R1芯片是首次在苹果产品家族中正式亮相,目前披露的消息还很少。

R1与M2是Apple Vision Pro的核心处理器(来源:Apple)

在iOS 13 中的代码,早就揭示了这一新的协处理器的存在。R是其研发代号“Rose”的简写,当然我们也可以猜测R也代表了Reality。Rose 协处理器的第一个迭代版本 R1 (t2006) 有点类似于 Apple 的 M 系列运动协处理器,可以计算设备在空间中的位置,其核心功能是从主系统处理器中卸载大量的传感器数据处理工作。

R1架构与周边连接估计(作者团队绘制,转载请注明来源)

早先的Apple M系列运动协处理器可以在系统主芯片休眠时,持续收集、处理和存储传感器数据的功能,方便应用程序在设备启动时检索数据。这减少了设备的功耗并延长了电池寿命。我们猜测R1处理器也有类似的功能。

R1 的特别之处在于比之前的运动协处理器接入了更多的传感器,具备更强的处理能力,以生成更准确的设备位置图。R1处理器目前可集中处理来自陀螺仪、加速度计、气压计和麦克风的多模态数据,并增加了惯性测量单元 (IMU)、蓝牙 5.1、超宽带 (UWB) 和摄像头(包括运动捕捉和光学跟踪)传感器数据的多模态计算支持。其中蓝牙 5.1 的到达角 (AoA) 和出发角 (AoD) 功能可实现蓝牙测向。

考虑到R1芯片对接的传感器需要实时计算,可以预估R1是一颗低功耗低延迟的多模态传感器融合计算芯片,其上定制了传感器常用的算子电路,并且具备NPU来支持基于AI的传感器算法。

M2主要指标(来源:http://notebookcheck.net

应用处理器M2芯片
Apple M2 是 Apple 的片上系统 (SoC),之前已经用于MacBook Air 和 MacBook Pro 13。

M2架构(来源:苹果)

M2具有8 个CPU内核,分为4个性能内核和4个能效内核。性能内核提供 192 KB 指令缓存、128 KB 数据缓存和 16 MB 共享二级缓存。效率内核要小一些,仅提供 128 KB 指令缓存、64 KB 数据缓存和 4 MB 共享缓存。效率内核时钟频率为2.4 GHz,性能内核的时钟频率则到达 3.5 GHz。另外M2 中的集成显卡提供8-10 个内核以及 3.6 TFLOPs 的峰值算力。此外,SoC 集成了一个具有 16 TOPS 峰值性能的高速16 核神经网络加速器(属于DSA,用于 AI 计算加速)。

M2算是Vision Pro里的电老虎了,占据了主要的功耗。

M2与M1对比(来源:http://anandtech.com

M2特色是其采用统一的 CPU 和 GPU 内核内存架构,支持高达 24 GB LPDDR5-6400,带宽高达 100GB/s。内置于 M2 芯片中的统一内存架构意味着 CPU、GPU 和其他处理器组件无需在彼此之间重复复制数据,并且能够访问统一的数据池。


(Blue=GPU, Yellow=P-CPU, Green=E-CPU, Red=Neural Engine, Pink=System Level Cache , Orange=De-/Encode。来源:High Yield)

ICVIEWS智库专家

陈巍博士

千芯科技董事长,存算一体/GPU架构和AI专家,高级职称。中关村云计算产业联盟、中国光学工程学会专家。曾任AI企业首席科学家、存储芯片大厂3D NAND设计负责人,领军大陆首个3D NAND闪存设计团队、eFlash IP核编译器、RISC-V/x86/arm兼容AI加速编译器,相关工作对标三星、台积电、SST。毕业于清华大学,中美发明专利与软著70+。