Camera与ARCore：ARCore Camera集成、Motion Tracking、Depth API、AR应用开发实践
ARCore，说白了就是Google给Android系统装上的「AR引擎」。它让手机摄像头不再是单纯的拍照工具，而是变成了感知世界的眼睛。我最早接触ARCore是在2018年，那时候还在做一款AR测量工具，踩了不少坑。今天咱们就把ARCore Camera集成、运动追踪、深度API这些核心模块拆开揉碎了讲。
ARCore Camera集成：让摄像头为AR服务
ARCore的Camera集成，和普通Camera2 API的用法不太一样。它接管了相机的生命周期和帧数据流，你不需要自己管理预览Surface。
核心流程其实就三步：
- 创建ARCore Session
- 配置Camera Config
- 获取帧数据并渲染
我习惯用ArSession_create()初始化会话，然后通过ArSession_configure()传入ArConfig。这里有个坑——ARCore要求相机分辨率必须是它支持的列表里的，不是你随便设一个就能跑。
关键点：ARCore Camera集成时，必须使用ArCameraConfigFilter和ArCameraConfigList来筛选合适的相机配置。直接硬编码分辨率，大概率会翻车。
// 伪代码示例：ARCore Camera配置
ArSession* session;
ArConfig* config;
ArCameraConfigFilter* filter;
ArCameraConfigList* config_list;
ArSession_create(env, context, &session);
ArConfig_create(session, &config);
ArCameraConfigFilter_create(session, &filter);
// 设置目标帧率30fps
ArCameraConfigFilter_setTargetFps(session, filter, AR_CAMERA_CONFIG_TARGET_FPS_30);
// 获取可用配置列表
ArSession_getSupportedCameraConfigs(session, filter, &config_list);
// 选择第一个可用配置
ArCameraConfig* camera_config;
ArCameraConfig_create(session, &camera_config);
ArCameraConfigList_getItem(session, config_list, 0, camera_config);
// 应用配置
ArSession_setCameraConfig(session, camera_config);
ArSession_configure(session, config);
嗯，这里要注意：ARCore Camera的帧数据是YUV420格式，如果你要做自定义渲染，得自己处理颜色空间转换。我当年在华为P30上调试时，就因为YUV转RGB的算法没优化好，导致AR物体渲染出来偏绿，折腾了两天才发现是转换矩阵用错了。
Motion Tracking：手机是怎么知道自己在动的？
Motion Tracking是ARCore的基石。它融合了IMU（惯性测量单元）数据和摄像头视觉信息，通过VIO（视觉惯性里程计）算法估算出设备的六自由度位姿。
说白了，就是手机在空间里的位置和朝向。ARCore每帧都会返回一个ArPose，包含旋转四元数和位移向量。
我的经验：Motion Tracking在纹理丰富的场景下表现最好。纯白墙壁或者大面积玻璃幕墙，追踪很容易漂移。我曾经在玻璃幕墙的写字楼里测试，AR物体直接飞到了天花板——后来加了平面检测的置信度过滤才稳住。
// 获取当前帧的位姿
ArFrame* frame;
ArPose* pose;
ArPose_create(session, nullptr, &pose);
ArSession_update(session, frame);
ArFrame_getDisplayGeometryChanged(session, frame, &display_changed);
ArFrame_getCameraPose(session, frame, pose);
// 提取位置和旋转
float pose_raw[7];
ArPose_getPoseRaw(session, pose, pose_raw);
// pose_raw[0..3] 是四元数 (qx, qy, qz, qw)
// pose_raw[4..6] 是位移 (x, y, z)
Motion Tracking的精度受环境影响很大。我建议你在应用启动时做一个初始化引导——让用户缓慢移动手机扫描周围环境，这样ARCore能更快建立特征点地图。直接静止不动，追踪质量反而差。
Depth API：让AR物体知道墙在哪里
Depth API是ARCore 1.13之后加入的重磅功能。它利用双目视觉或者ToF传感器，生成场景的深度图。有了深度信息，AR物体才能真正「理解」物理世界——比如放在桌面上，而不是悬在半空。
Depth API有两种模式：
| 模式 | 原理 | 适用场景 |
|---|---|---|
| Stereo Depth | 双目视觉匹配 | 普通手机（无ToF） |
| ToF Depth | 飞行时间传感器 | 带ToF的旗舰机 |
我个人更推荐Stereo Depth模式，因为它兼容性更好。ToF虽然精度高，但只有部分机型支持，而且ToF在强光下容易饱和。
注意：Depth API返回的深度图分辨率通常比相机预览分辨率低。比如相机是640x480，深度图可能只有160x120。做碰撞检测时，记得做双线性插值上采样。
// 启用Depth API
ArSession_isDepthModeSupported(session, &depth_supported);
if (depth_supported) {
ArConfig_setDepthMode(session, config, AR_DEPTH_MODE_AUTOMATIC);
ArSession_configure(session, config);
}
// 获取深度图
ArFrame_acquireDepthImage(session, frame, &depth_image);
int32_t width, height;
ArImage_getWidth(session, depth_image, &width);
ArImage_getHeight(session, depth_image, &height);
// 读取深度像素（单位：毫米）
const uint16_t* depth_data;
int32_t data_size;
ArImage_getPlaneData(session, depth_image, 0, &depth_data, &data_size);
Depth API的一个经典应用是遮挡渲染。比如你放一个虚拟椅子在真实桌子后面，ARCore能根据深度图判断椅子应该被桌子遮挡，而不是直接画在桌子前面。这个效果做出来，用户会觉得「哇，这AR好真实」。
AR应用开发实践：从Demo到产品
讲完技术细节，咱们聊聊实战。我参与过几个ARCore商业项目，总结出三条铁律：
- 光照估计必须开：ARCore提供环境光强度和颜色温度，不开的话虚拟物体和真实场景的光照不匹配，一眼假。
- 平面检测要加超时机制：用户可能一直对着天空或者地面，ARCore永远检测不到平面。我习惯在5秒后给出提示「请对准有纹理的平面」。
- 锚点管理要谨慎：ARCore的锚点数量有限，超过20个后性能会下降。记得及时释放不需要的锚点。
我曾经在一个AR家居项目中，用户放置了30多个家具模型，结果手机发热严重，帧率掉到15fps。后来优化方案是：只保留最近10个锚点，远处的模型降级为静态网格，问题就解决了。
避坑指南：ARCore在后台恢复时，Session会丢失。如果你需要长时间运行AR，记得监听onResume()回调，重新创建Session并恢复锚点。我曾经因为这个bug被测试小姐姐追着骂了三天。
最后，给一个ARCore应用的最小架构建议：
// 应用层
ARActivity (生命周期管理)
├── ARRenderer (OpenGL渲染)
├── ARSessionManager (Session创建/配置)
├── AnchorManager (锚点增删查)
└── DepthProcessor (深度数据处理)
这个分层结构，我用了好几个项目，维护起来很舒服。每个模块职责单一，出了问题也好定位。
ARCore Camera集成，说难不难，说简单也不简单。核心就是理解它接管了相机控制权，你只需要关注位姿、深度、光照这三个输出。把这三个数据用好，AR体验就能上一个台阶。
公众号:蓝海资料掘金营，微信deep3321