Cocos CreatorXR v1.1.0 正式发布！支持 Spaces XR 眼镜与手持 AR 内容开发

450894613 · 2023年03月7日 03:54

Cocos CreatorXR v1.1.0 正式发布！支持 Spaces XR 眼镜与手持 AR 内容开发

去年9月，我们首次发布了 Cocos CreatorXR，正式支持 XR 内容开发，集成 OpenXR 标准协议，兼容各大主流 XR 设备。Cocos 也由此成为首个支持 XR 设备的全功能国产引擎，帮助内容创作者低成本参与元宇宙创作。

Cocos CreatorXR 发布后，许多开发者使用它创作出了自己的 XR 作品，并发布到 Rokid Air 等平台上。同时，我们也收到了大家的意见和建议，这些反馈也成为我们不断完善工具、迭代版本的重要参考依据，在此向各位开发者表示感谢！

随着 Cocos Creator 3.7.1 的发布，全新升级的 Cocos CreatorXR v1.1.0 也于近日正式上线。该版本完善了 VR 创作中常用的视频组件和串流调试功能，并首次通过集成的 Cocos ARModule 加入了对 ARKit / ARCore / AREngine / Spaces 等四个主流 AR SDK 的支持， 开发者可进行 Spaces XR 眼镜设备和 手持 AR 设备 的 AR 内容开发。

新增AR应用开发模块：

● 透过ARSession /ARManager /ARCamera等组建的配合搭建AR应用开发框架，并新增AR Mobile 模板来供开发者熟悉相关组件结构。

● 现已支持设备追踪（ARCamera）/平面识别 /图片识别 /锚点 /Mesh类型的AR应用，具体特性支持列表请参考使用手册。

● 支持AR虚拟物体的触摸屏交互功能。

● 目前支持手持端iOS /Android原生，和眼镜端高通Spaces平台的打包发布。

注：Cocos CreatorXR 目前对AR的支持，包含ARKit（iOS），ARCore（部分Android设备），AREngine（大部分华为/荣耀设备）及Spaces，是透过Cocos引擎对不同 AR SDK 接口的封装来抹平差异，实现统一的编辑器层面开发工作流。所生成的APP会通过各自标准的API来调用对应的 AR SDK，因此最终的应用能否正常运行取决于用户设备上是否存在相应的AR SDK 以及其自身与设备硬件的调教效果，请特别注意。此外，由于 AR SDK 不支持VULKAN，在构建安卓平台AR项目时渲染后端不能选择VULKAN，且为了尽可能覆盖兼容所有设备，请同时选择GLES2和GLES3。

新增组件与能力：

● 新增XR视频播放器组件集合，可以在虚拟场景里快速创建视频播放能力，支持180°/360°视频及字幕文件。

● 新增凝视交互组件，可实现无需控制手柄的中心点交互。

● 交互事件支持手柄震动反馈。

● 射线交互器新增曲线类型的射线检测。

● XRUI支持从传统UI的一键转化功能，继续降低存量内容转换工作流。

● 预览模式新增支持XR设备信号的无线串流调试功能。

● 新增 Rokid Air 设备支持手机作为3DOF空鼠的功能。

重点特性

支持骁龙 Spaces XR 内容生态

由高通推出的头戴式 AR 开发套件骁龙 Spaces XR 开发者平台，基于 OpenXR 规范实现了应用程序的可移植性，是首个符合 OpenXR runtime 并针对“连接智能手机使用”这一形式进行优化的头戴式 AR 平台，这也有助于降低开发者利用骁龙 Spaces 进行编程的门槛。

在硬件平台、XR 底层技术以及 5G 网络技术方面的优势，以及在个人智能设备行业的影响力，让高通有更大的机会基于骁龙 Spaces 平台打造统一的 XR 基底，打破生态孤岛。 Cocos 第一时间推出对 Spaces 平台的支持，带动 Spaces XR 的内容开发走向更低门槛、更轻量化的时代。

支持华为 AREngine 的内容创作

AREngine 是华为推出的一款用于在 HarmonyOS / Android 上构建增强现实应用的 SDK，在国产品牌手持设备里有着最高的预装覆盖率。

Cocos CreatorXR v1.1.0 通过 ARModule 对 AREngine 的二次封装， 正式支持 AREngine 的内容创作，是目前唯一官方支持 AREngine 的全功能可视化编辑器， 也造就了完整的全流程国产化 AR 内容生态闭环。

跨 AR SDK 的智能化内容构建

目前市面上能够实现 AR 能力的 SDK 种类繁多，其中比较主流的设备端（即需要软硬件联合标定的）AR SDK 主要有 ARKit / ARCore / AREngine / Spaces 等，它们都有自己独立的开发环境，给开发者跨平台发布内容带来了学习门槛和重复工作量。

Cocos CreatorXR v1.1.0 通过集成的 Cocos ARModule， 对上述四个主流 SDK 进行了二次封装，抹平不同 SDK 之间的差异， 让开发者无需去学习和区分底层 SDK，能够更专注于内容创作，实现高效率的跨平台内容研发。

AR 创作工作流 Factor-Action

AR 内容与传统数字内容的区别在于，AR 面对的是未知的实体世界，而不是既定的虚拟场景。因此，在开发中，如果能够清晰方便地描述现实实体的条件特征、并针对此种条件执行匹配的行为，则可以大大简化开发者处理复杂 AR 功能特性的工作流程，让开发者更专注于编写项目核心逻辑。

Cocos CreatorXR v1.1.0 提供的 Factor-Action 组件， 将常用的特征和行为抽象成为“元素”供开发者自由搭配， 图形化的操作极大程度降低了 AR 应用的开发成本和开发门槛。

预先封装好的触摸屏交互组件

对于手持设备（手机/平板）的 AR 体验来说，仅能够进行虚实叠加的内容呈现是不够的，多样的交互方式对 AR 体验来说至关重要。其中，触摸屏手势交互是手持 AR 最主要的交互手段之一。

Cocos CreatorXR v1.1.0 特此定制了一套触屏手势交互组件，将经典的手势行为进行了组件化封装。 开发者只需通过菜单选择不同操作的对应手势，即可完成交互的设定，简化开发工作量的同时，也确保了交互体验的可预测性。

XR 视频播放器组件

如今，对元宇宙会展、文旅党建等众多 XR 应用来说，“在虚拟场景里的特定区域播放视频”已经成为刚需。

Cocos CreatorXR v1.1.0 提供了通用化的 XR 视频播放器，支持常规或180/360全景视频。 该组件直接调用硬件解码后通过 GPU 渲染到内部纹理，并支持切换展示多种风格的视频。同时，播放器还提供了交互功能辅助进行播放控制，开发者只需添加或替换视频资源即可实现简易的视频播放功能，简化开发步骤。

XR 设备信号的无线串流调试

内容验证是项目开发过程中极其耗时的一环。由于 XR 设备的终端独立性和串流工具的封闭性，在编辑器中进行 XR 项目验证和调试，与传统移动端 / PC 端的项目内容验证相比更为困难。

为了响应众多开发者的需求， Cocos CreatorXR v1.1.0 推出了无线串流调试功能，支持直接在 Web 浏览器中预览 XR 项目并同步所有来自 XR 设备的信号，正确渲染实时画面并反馈各种控制器信号触发逻辑。开发者无需打包应用至设备即可快速完整地体验所有 XR 项目内容，既能保证功能的完整性，又能提高调试效率。

接入方法

建议从 Dashboard 启用 v1.1.0

Cocos CreatorXR v1.1.0 是基于 Cocos Creator 3.7.1 的官方插件，建议在 3.7.1 或以后版本的 Cocos Creator 中使用，以获得最完整的功能体验。 开发者可前往 Cocos Store 下载安装，或通过 Dashboard 的模板/案例来启用。

若您将 Cocos CreatorXR v1.1.0 插件安装在 Cocos Creator 3.6.1/3.6.2/3.6.3/3.7.0 版本上，则能够实现的 XR 功能与 Cocos CreatorXR v1.0.1 一致，而新增的功能将无法使用。

解决的v1.0.1版本问题

● Huawei VR Glass（6Dof套装）对6Dof输入的完整支持；

● Huawei VR Glass 配套的6Dof手柄在触摸摇杆时也产生随机信号的处理问题；

● 其它内部测试的已知问题优化。

已知问题

暂不支持Vulkan下的MSAA功能——后续将有更好的抗锯齿方案，暂时放弃支持。
Bug：在当前场景内容发生修改并未保存的情况下，更改编辑器布局，会重置所有未保存内容，导致内容丢失；
WebView不能具有深度信息，会被画在镜头最前面，无法交互且遮挡住其他对象；
HUAWEI VR Glasses设备不支持ScrollView、PageView这类带cc.Mask的UI控件，会被Mask全屏遮罩；
修改Tracking Origin Mode，偏移效果不会实时在编辑器中刷新；
为XRUI添加cc.RaycastChecker时，如果此UI或父级UI没有启用，则不会自动添加BoxCollider；
XRUI不支持根据距离计算遮挡效果，目前遮挡关系只是通过渲染顺序得到的；
图像追踪能力根据平台的不同有一定差异，目前已知情况为：ARCore 同时追踪最多20张，单图像库存最大容量为1000张；ARKit 同时追踪最多4张，单图像库最大容量为100张；AREngine同时追踪最多1张，单图像库最大容量有待验证。
Canvas进行2DUI转化XRUI时，组件结构不会立即更新，编辑器刷新后即可显示正常的XRUI组件。
打包调用AREngine的APP暂时只支持横屏运行。