简介在移动应用与AR开发中摄像头图像采集与处理是连接物理世界与数字信息的关键技术。其核心原理是通过设备原生API如Android Camera2高效获取图像流再结合计算机视觉算法进行实时分析。这一技术路径的价值在于能充分发挥硬件性能实现低延迟、高精度的识别对于工业巡检、仓储管理等需要快速响应的场景至关重要。具体到Unity3d开发通过Android JNI直接调用设备原生能力结合Google ML Kit等成熟扫码库成为在Rokid AR眼镜等特定设备上实现稳定高效扫码的优选方案。本文即围绕这一技术组合详解从权限管理、图像采集到结果回调的全链路工程实践为AR眼镜的工业应用提供了一套可直接复用的源码与避坑指南。1. 项目概述与核心价值最近在做一个AR眼镜的工业巡检项目客户要求在Rokid AR眼镜上实现一个扫码识别物料信息的功能。这个需求听起来简单不就是调用摄像头、识别二维码嘛。但真上手做尤其是在Unity3d里针对Rokid AR眼镜这种特定设备你会发现从摄像头权限、图像采集、识别算法到与Unity UI的交互每一步都有不少坑。网上能找到的要么是纯安卓原生的例子要么是Unity通用扫码插件直接套用到Rokid眼镜上不是权限报错就是画面方向不对或者识别效率低下。所以我花了些时间把整个流程打通封装了一套相对稳定、易用的C#源码。这套方案的核心思路是在Unity中通过Android Java Native Interface (JNI) 直接调用Rokid眼镜内置的摄像头和扫码库将识别结果实时回调给Unity的C#脚本再驱动你的AR界面进行展示和交互。这样做的好处是性能好直接使用设备原生能力、识别率高依赖成熟扫码库、且与Unity的AR场景如Vuforia、AR Foundation可以无缝集成。如果你正在或即将为Rokid AR眼镜开发类似功能无论是用于仓储管理、设备巡检还是教学辅助这套源码和背后的实现逻辑应该能帮你节省大量摸索时间。接下来我会从设计思路、环境搭建、核心代码实现到避坑指南完整地拆解一遍。2. 整体架构与方案选型在Unity里为移动设备包括AR眼镜实现扫码通常有几条路可以走纯Unity C#插件例如ZXing.Net.Unity。优点是完全在Unity生态内跨平台方便。缺点是在移动端尤其是AR眼镜上需要自己处理摄像头图像采集性能开销大且对摄像头硬件的控制力弱容易遇到帧率、对焦、曝光等问题。原生插件调用在Android端Rokid眼镜基于Android编写Java/Kotlin代码处理摄像头和识别通过JNI与Unity C#通信。这是性能最优的方案也是本次采用的核心方案。混合方案使用Unity的WebCamTexture获取图像然后交给C#的识别库如ZXing处理。这是最“省事”但也是最不稳定的方案WebCamTexture在部分设备上兼容性差图像格式转换消耗CPU识别延迟高。为什么选择原生插件调用方案对于AR眼镜这种对实时性、续航和用户体验要求极高的设备我们必须追求极致的效率和稳定性。直接使用设备原生的摄像头APICamera2 API可以确保最佳的图像质量和采集速度调用设备厂商可能优化过的或业界成熟的扫码库如Google的ML Kit Barcode Scanning识别速度和准确率也远高于在Unity里用托管代码实现的算法。虽然JNI交互会增加一些开发复杂度但这是一次性的投入换来的却是运行时稳定的高性能。我们的架构设计如下Unity C#层 (业务逻辑)负责UI展示、扫描触发/停止指令下发、识别结果的处理如查询数据库、显示3D信息标签。JNI桥接层 (通信桥梁)一个C#脚本使用AndroidJavaClass和AndroidJavaObject调用Java方法并接收来自Java端的回调。Android Java层 (硬件控制与识别)一个Android Library工程包含Activity或Service用于管理摄像头生命周期、预览画面、调用扫码SDK并通过UnityPlayer的UnitySendMessage机制将结果回传。3. 开发环境与前置准备工欲善其事必先利其器。在开始编码前请确保你的环境已经就绪。3.1 软硬件清单硬件Rokid AR眼镜如Rokid Glass 2、配套的控制器或手机用于调试和安装APK。软件Unity3d建议使用2020.3 LTS或2021.3 LTS等长期支持版本稳定性好。我使用的是2021.3.32f1。Android开发环境确保Unity的Android Build Support模块已安装。同时你需要安装Android SDK和NDK。在Unity的Preferences - External Tools中正确设置SDK、JDK、NDK的路径。Java开发环境安装JDK 8或11并配置好JAVA_HOME环境变量。代码编辑器Visual Studio 2022 或 JetBrains Rider。关键账号与权限你需要一个Rokid开发者账号用于访问其官方开发者文档和可能提供的SDK虽然核心扫码我们可能用通用方案但了解设备特性很重要。在Unity打包Android APK时需要设置正确的Package Name包名和Minimum API Level。Rokid眼镜通常基于较新的Android系统建议将Minimum API Level设置为至少24 (Android 7.0)Target API Level设置为设备对应的版本如30。3.2 Unity项目基础设置创建新项目选择3D或URP模板即可。切换构建平台打开File - Build Settings选择Android点击Switch Platform。Player Settings配置Other SettingsPackage Name: 填写你的应用唯一标识如com.yourcompany.arscanner。Minimum API Level: 设置为24。Target API Level: 设置为30或Automatic (highest installed)。Scripting Backend: 选择IL2CPP。这能带来更好的性能并且是64位应用所必须的。Target Architectures: 勾选ARM64。现代AR设备基本都是64位系统只勾选ARM64可以减小包体。Publishing Settings找到Custom Main Gradle Template和Custom Gradle Properties Template勾选它们。这允许我们深度定制构建过程特别是添加第三方依赖。3.3 Android原生模块准备我们不需要从头写一个完整的Android App。我们将创建一个Android Library模块AAR文件或直接将Java源码放入Unity的Plugins/Android目录。这里采用后者更直观。在Unity项目的Assets文件夹下创建目录结构Assets/Plugins/Android。在Android文件夹内我们需要准备以下关键文件AndroidManifest.xml: 声明应用权限和组件。mainTemplate.gradle: 统一的项目级Gradle配置。launcherTemplate.gradle: 应用模块的Gradle配置。libs/: 存放第三方库的JAR或AAR文件如扫码SDK。src/: 存放我们的Java源代码。注意直接操作Plugins/Android下的文件需要小心因为Unity在构建时会合并和处理这些文件。使用Custom Gradle Template是更推荐、更可控的方式。4. 核心功能实现详解接下来我们深入到每一层的代码看看如何将它们串联起来。4.1 Android Java层摄像头与识别引擎首先在Assets/Plugins/Android/src/com/yourcompany/arscanner/目录下创建我们的Java类例如QRCodeScannerActivity.java。这个类的核心职责是申请摄像头权限。使用Camera2 API打开摄像头并显示预览。将预览帧图像传递给扫码库进行分析。将识别到的结果发送回Unity。关键代码片段与解析package com.yourcompany.arscanner; import android.Manifest; import android.app.Activity; import android.content.pm.PackageManager; import android.graphics.ImageFormat; import android.hardware.camera2.CameraAccessException; import android.hardware.camera2.CameraCharacteristics; import android.hardware.camera2.CameraDevice; import android.hardware.camera2.CameraManager; import android.media.Image; import android.media.ImageReader; import android.os.Bundle; import android.os.Handler; import android.os.HandlerThread; import android.util.Log; import android.util.Size; import android.view.Surface; import androidx.annotation.NonNull; import androidx.core.app.ActivityCompat; import com.google.mlkit.vision.barcode.BarcodeScanner; import com.google.mlkit.vision.barcode.BarcodeScannerOptions; import com.google.mlkit.vision.barcode.BarcodeScanning; import com.google.mlkit.vision.barcode.common.Barcode; import com.google.mlkit.vision.common.InputImage; import java.nio.ByteBuffer; import java.util.Arrays; import java.util.concurrent.atomic.AtomicBoolean; // 假设我们通过一个Activity来管理扫描界面 public class QRCodeScannerActivity extends Activity { private static final String TAG RokidQRScanner; private static final int CAMERA_REQUEST_CODE 1001; private CameraManager cameraManager; private String cameraId; private CameraDevice cameraDevice; private HandlerThread backgroundThread; private Handler backgroundHandler; private ImageReader imageReader; private BarcodeScanner barcodeScanner; private AtomicBoolean isProcessing new AtomicBoolean(false); // Unity游戏对象和方法名用于回调 private String unityGameObjectName QRCodeManager; private String unityCallbackMethod OnQRCodeScanned; Override protected void onCreate(Bundle savedInstanceState) { super.onCreate(savedInstanceState); // 可以设置一个简单的预览SurfaceView这里为简化可能依赖外部传递的Surface // 更常见的做法是这个Activity是透明的或者我们使用TextureView进行预览 startBackgroundThread(); initBarcodeScanner(); openCamera(); } private void startBackgroundThread() { backgroundThread new HandlerThread(CameraBackground); backgroundThread.start(); backgroundHandler new Handler(backgroundThread.getLooper()); } private void initBarcodeScanner() { // 配置扫码选项这里选择所有格式 BarcodeScannerOptions options new BarcodeScannerOptions.Builder() .setBarcodeFormats(Barcode.FORMAT_ALL_FORMATS) .build(); barcodeScanner BarcodeScanning.getClient(options); } private void openCamera() { cameraManager (CameraManager) getSystemService(CAMERA_SERVICE); try { // 通常使用后置摄像头Rokid眼镜的摄像头ID需要根据实际情况确定 for (String id : cameraManager.getCameraIdList()) { CameraCharacteristics characteristics cameraManager.getCameraCharacteristics(id); Integer lensFacing characteristics.get(CameraCharacteristics.LENS_FACING); if (lensFacing ! null lensFacing CameraCharacteristics.LENS_FACING_BACK) { cameraId id; break; } } if (cameraId null) { // 如果没有后置用第一个 cameraId cameraManager.getCameraIdList()[0]; } if (ActivityCompat.checkSelfPermission(this, Manifest.permission.CAMERA) ! PackageManager.PERMISSION_GRANTED) { ActivityCompat.requestPermissions(this, new String[]{Manifest.permission.CAMERA}, CAMERA_REQUEST_CODE); return; } // 选择适合的预览尺寸这里选择一个640x480的尺寸以平衡性能和识别需求 Size previewSize new Size(640, 480); // 创建ImageReader用于获取摄像头数据流使用YUV_420_888格式这是Camera2最通用的格式 imageReader ImageReader.newInstance(previewSize.getWidth(), previewSize.getHeight(), ImageFormat.YUV_420_888, 2); imageReader.setOnImageAvailableListener(onImageAvailableListener, backgroundHandler); cameraManager.openCamera(cameraId, new CameraDevice.StateCallback() { Override public void onOpened(NonNull CameraDevice camera) { cameraDevice camera; // 创建CaptureRequest将ImageReader的Surface作为输出目标 try { Surface surface imageReader.getSurface(); // ... 配置CaptureRequest并开始重复请求以获取预览流 } catch (CameraAccessException e) { Log.e(TAG, Failed to create capture session, e); } } // ... 其他回调方法 onDisconnected, onError }, backgroundHandler); } catch (CameraAccessException e) { Log.e(TAG, Camera access exception, e); } } private final ImageReader.OnImageAvailableListener onImageAvailableListener reader - { // 获取最新的图像 Image image reader.acquireLatestImage(); if (image null || isProcessing.get()) { if (image ! null) { image.close(); } return; } isProcessing.set(true); // 将Image转换为ML Kit需要的InputImage InputImage inputImage InputImage.fromMediaImage(image, image.getImageInfo().getRotationDegrees()); // 使用ML Kit进行识别 barcodeScanner.process(inputImage) .addOnSuccessListener(barcodes - { for (Barcode barcode : barcodes) { String rawValue barcode.getRawValue(); if (rawValue ! null !rawValue.isEmpty()) { Log.i(TAG, Barcode detected: rawValue); // 关键步骤将结果发送回Unity sendResultToUnity(rawValue); // 识别到一个有效码后可以暂停一下避免连续重复回调 break; } } image.close(); isProcessing.set(false); }) .addOnFailureListener(e - { Log.e(TAG, Barcode scanning failed, e); image.close(); isProcessing.set(false); }); }; private void sendResultToUnity(String result) { // 使用UnityPlayer.UnitySendMessage进行通信 // 注意这个方法必须在主线程调用 runOnUiThread(() - { try { com.unity3d.player.UnityPlayer.UnitySendMessage(unityGameObjectName, unityCallbackMethod, result); } catch (Exception e) { Log.e(TAG, Failed to send message to Unity, e); } }); } Override protected void onDestroy() { super.onDestroy(); if (barcodeScanner ! null) { barcodeScanner.close(); } // ... 关闭摄像头停止后台线程 stopBackgroundThread(); } private void stopBackgroundThread() { if (backgroundThread ! null) { backgroundThread.quitSafely(); try { backgroundThread.join(); backgroundThread null; backgroundHandler null; } catch (InterruptedException e) { Log.e(TAG, Error stopping background thread, e); } } } }代码要点解析权限管理在openCamera()中检查并请求CAMERA权限这是Android上的必需步骤。Camera2 API我们使用现代的Camera2 API而非已废弃的Camera API它提供了更精细的控制。ImageReader是我们获取摄像头帧数据的关键。ML Kit Barcode Scanning这里使用了Google的ML Kit库它是目前Android上识别率、速度和支持格式都非常优秀的方案。你需要将对应的依赖添加到launcherTemplate.gradle中。线程管理摄像头操作和图像处理是耗时操作必须在后台线程进行。我们创建了HandlerThread和对应的Handler。Unity通信UnityPlayer.UnitySendMessage是Unity提供的用于从Java端调用C#端静态或实例方法的标准方式。你需要指定接收消息的GameObject名称和方法名。4.2 JNI桥接层Unity C#调用与回调在Unity中我们需要一个C#脚本来启动扫描Activity并接收结果。创建QRCodeManager.cs。using UnityEngine; using System; using System.Runtime.InteropServices; public class QRCodeManager : MonoBehaviour { // 单例模式方便全局访问 private static QRCodeManager _instance; public static QRCodeManager Instance _instance; // 定义扫描结果回调事件 public event Actionstring OnQRCodeScannedEvent; // Android Java类和方法名 private const string ScannerClassName com.yourcompany.arscanner.QRCodeScannerActivity; private AndroidJavaObject scannerActivityContext null; private AndroidJavaClass unityPlayerClass null; private AndroidJavaObject currentActivity null; void Awake() { if (_instance ! null _instance ! this) { Destroy(gameObject); return; } _instance this; DontDestroyOnLoad(gameObject); // 常驻场景便于不同场景调用 // 初始化Android环境相关的Java对象 InitializeAndroidReferences(); } void InitializeAndroidReferences() { // 获取当前的UnityPlayer和Activity unityPlayerClass new AndroidJavaClass(com.unity3d.player.UnityPlayer); currentActivity unityPlayerClass.GetStaticAndroidJavaObject(currentActivity); if (currentActivity null) { Debug.LogError(QRCodeManager: Failed to get current Android Activity.); } } /// summary /// 启动扫码Activity /// /summary public void StartScan() { if (Application.platform ! RuntimePlatform.Android) { Debug.LogWarning(QRCode scanning is only supported on Android platform.); return; } if (currentActivity null) { InitializeAndroidReferences(); } try { // 创建一个Intent来启动我们的扫码Activity AndroidJavaClass intentClass new AndroidJavaClass(android.content.Intent); AndroidJavaObject intent new AndroidJavaObject(android.content.Intent, currentActivity, new AndroidJavaClass(ScannerClassName)); // 可以传递一些额外参数例如扫描框的UI提示 // intent.CallAndroidJavaObject(putExtra, SCAN_HINT, 请将二维码置于框内); // 启动Activity currentActivity.Call(startActivity, intent); Debug.Log(QRCodeManager: Started scan activity.); } catch (System.Exception e) { Debug.LogError($QRCodeManager: Failed to start scan activity. Error: {e.Message}); } } /// summary /// 停止扫码关闭Activity /// /summary public void StopScan() { // 这里需要一种方式通知Java端停止。一种方法是在Activity中定义一个结束自己的方法并通过JNI调用。 // 更简单的方式是在扫码Activity中识别到结果后自动finish。 // 我们可以在StartScan时传递一个标志让Activity在识别成功后自动关闭。 Debug.Log(QRCodeManager: Stop scan requested.); } /// summary /// 由Java端通过UnitySendMessage调用的方法 /// 方法名必须与Java端发送时指定的完全一致默认是OnQRCodeScanned /// /summary /// param nameresult识别到的二维码字符串/param public void OnQRCodeScanned(string result) { Debug.Log($QRCodeManager: Received scan result - {result}); // 触发事件通知所有订阅者 OnQRCodeScannedEvent?.Invoke(result); // 这里可以添加后续业务逻辑例如 // 1. 解析结果字符串可能是URL、JSON、特定编码 // 2. 根据结果查询本地或网络数据库 // 3. 在AR空间中显示对应的3D模型或信息面板 // 4. 播放提示音效 // 示例假设结果是物料编号触发一个查询 // ProcessMaterialCode(result); } // 示例业务处理方法 private void ProcessMaterialCode(string code) { // 这里模拟一个异步查询过程 Debug.Log($Processing material code: {code}); // ... 你的业务逻辑 } void OnDestroy() { // 清理资源 if (scannerActivityContext ! null) { scannerActivityContext.Dispose(); } if (currentActivity ! null) { currentActivity.Dispose(); } if (unityPlayerClass ! null) { unityPlayerClass.Dispose(); } } }代码要点解析AndroidJavaClass/Object这是Unity提供的用于与Java端交互的核心类。AndroidJavaClass代表一个Java类AndroidJavaObject代表一个Java对象实例。初始化时机在Awake中获取当前的Android Activity非常重要因为后续的Intent启动需要它。启动Activity我们通过构造一个Intent对象并调用当前Activity的startActivity方法来启动我们自定义的QRCodeScannerActivity。这会让设备从Unity应用切换到全屏的扫码界面。回调方法OnQRCodeScanned方法必须声明为public且方法签名名称和参数要与Java端UnitySendMessage调用时完全一致。它通过C#的event机制将结果广播出去实现解耦。资源释放AndroidJavaObject和AndroidJavaClass本质上是托管代码对JNI对象的包装使用后应当调用Dispose()来释放本地引用避免内存泄漏。在脚本销毁时进行清理是个好习惯。4.3 Unity业务层UI集成与AR展示有了扫描和通信的基础最后一步就是在Unity中创建一个简单的UI来触发扫描并处理扫描结果将其与AR内容结合。创建UI控制器创建一个ScannerUIController.cs脚本挂载到Canvas下的一个按钮上。using UnityEngine; using UnityEngine.UI; using TMPro; // 如果使用TextMeshPro public class ScannerUIController : MonoBehaviour { [Header(UI References)] public Button scanButton; public TMP_Text resultText; // 用于显示扫描结果 public GameObject infoPanelPrefab; // 扫描成功后显示的AR信息面板预制体 public Transform arAnchor; // AR场景中的锚点用于放置信息面板 void Start() { // 绑定按钮点击事件 if (scanButton ! null) { scanButton.onClick.AddListener(OnScanButtonClicked); } // 订阅扫描结果事件 if (QRCodeManager.Instance ! null) { QRCodeManager.Instance.OnQRCodeScannedEvent HandleScanResult; } else { Debug.LogError(ScannerUIController: QRCodeManager instance not found.); } } void OnScanButtonClicked() { Debug.Log(Scan button clicked.); if (QRCodeManager.Instance ! null) { QRCodeManager.Instance.StartScan(); } // 可以在这里改变按钮状态比如变为“扫描中...” if (scanButton ! null) { scanButton.interactable false; scanButton.GetComponentInChildrenTMP_Text().text Scanning...; } } void HandleScanResult(string result) { Debug.Log($ScannerUIController: Got result - {result}); // 更新UI文本 if (resultText ! null) { resultText.text $Scanned: {result}; } // 恢复按钮状态 if (scanButton ! null) { scanButton.interactable true; scanButton.GetComponentInChildrenTMP_Text().text Start Scan; } // 在AR场景中展示信息示例 DisplayARInfo(result); } void DisplayARInfo(string code) { if (infoPanelPrefab null || arAnchor null) { Debug.LogWarning(AR display prefab or anchor not set.); return; } // 实例化信息面板并放置在AR锚点位置 GameObject infoPanel Instantiate(infoPanelPrefab, arAnchor.position, Quaternion.identity, arAnchor); // 假设信息面板上有一个脚本负责更新文本 ARInfoPanel panelScript infoPanel.GetComponentARInfoPanel(); if (panelScript ! null) { // 这里应该根据code去查询真实数据这里用模拟数据 panelScript.SetInfo($Material ID: {code}\nStatus: In Stock\nLocation: A-12); } // 可以添加一些动画或效果 // ... } void OnDestroy() { // 取消事件订阅防止内存泄漏 if (QRCodeManager.Instance ! null) { QRCodeManager.Instance.OnQRCodeScannedEvent - HandleScanResult; } if (scanButton ! null) { scanButton.onClick.RemoveListener(OnScanButtonClicked); } } }AR信息面板脚本创建一个简单的ARInfoPanel.cs挂载到信息面板预制体上。using UnityEngine; using TMPro; public class ARInfoPanel : MonoBehaviour { public TMP_Text infoText; public void SetInfo(string info) { if (infoText ! null) { infoText.text info; } } // 可以添加关闭按钮的逻辑 public void ClosePanel() { Destroy(gameObject); } }业务层要点事件驱动使用C#事件进行通信ScannerUIController订阅QRCodeManager的事件。这样业务逻辑与底层扫描功能完全解耦非常清晰。状态反馈在扫描开始和结束时更新UI按钮的状态和文本给用户明确的反馈。AR内容绑定DisplayARInfo方法展示了如何将扫描得到的字符串如物料ID转化为具体的业务数据并在AR空间中实例化一个信息面板进行展示。这是AR应用的核心交互环节。资源管理在OnDestroy中取消事件订阅和按钮监听是防止空引用和内存泄漏的良好实践。5. 项目配置与构建详解代码写好了但要成功在Rokid眼镜上运行还需要正确的项目配置尤其是Gradle配置和依赖管理。5.1 AndroidManifest.xml 配置在Assets/Plugins/Android目录下创建或修改AndroidManifest.xml文件。Unity在构建时会将其与自己的基础清单合并。?xml version1.0 encodingutf-8? manifest xmlns:androidhttp://schemas.android.com/apk/res/android packagecom.yourcompany.arscanner android:installLocationpreferExternal !-- 声明摄像头权限 -- uses-permission android:nameandroid.permission.CAMERA / !-- 如果ML Kit需要网络下载模型默认是捆绑的可能需要网络权限 -- !-- uses-permission android:nameandroid.permission.INTERNET / -- !-- 如果目标API级别30且需要访问外部存储可能需要管理外部存储权限 -- !-- uses-permission android:nameandroid.permission.MANAGE_EXTERNAL_STORAGE / -- !-- 声明我们的扫码Activity -- application android:themestyle/UnityThemeSelector android:iconmipmap/app_icon android:labelstring/app_name !-- 原有的UnityPlayerActivity -- activity android:namecom.unity3d.player.UnityPlayerActivity android:exportedtrue intent-filter action android:nameandroid.intent.action.MAIN / category android:nameandroid.intent.category.LAUNCHER / /intent-filter meta-data android:nameunityplayer.UnityActivity android:valuetrue / /activity !-- 我们新增的扫码Activity -- activity android:namecom.yourcompany.arscanner.QRCodeScannerActivity android:themeandroid:style/Theme.Translucent.NoTitleBar.Fullscreen android:screenOrientationlandscape android:exportedfalse !-- 可以添加intent-filter使其能被其他应用调用这里不需要 -- /activity /application /manifest关键配置说明uses-permission: 必须声明CAMERA权限。activity: 我们新增的QRCodeScannerActivity。android:theme: 设置为android:style/Theme.Translucent.NoTitleBar.Fullscreen可以让Activity全屏且透明实现从Unity游戏画面平滑过渡到扫码界面的效果。android:screenOrientation: 设置为landscape横屏因为大多数AR眼镜和Unity项目默认是横屏模式。这一点非常重要如果方向不匹配预览画面可能会错乱。android:exported: 设置为false表示这个Activity只能由我们自己的应用内部启动提高了安全性。5.2 Gradle配置与依赖管理这是将第三方库如ML Kit集成到Unity Android构建中最关键也最容易出错的一步。我们需要修改Gradle模板文件。启用自定义Gradle模板在Unity Editor中打开Project Settings - Player - Publishing Settings勾选Custom Main Gradle Template和Custom Launcher Gradle Template。这会在Assets/Plugins/Android下生成mainTemplate.gradle和launcherTemplate.gradle。配置launcherTemplate.gradle这个文件负责应用模块的依赖。我们需要在dependencies块中添加ML Kit的依赖。// 文件位于: Assets/Plugins/Android/launcherTemplate.gradle // **注意不要删除文件原有的其他内容只在dependencies块内添加** dependencies { // ... Unity自动生成的依赖 ... // 添加Google ML Kit Barcode Scanning依赖 implementation com.google.mlkit:barcode-scanning:17.2.0 // 如果ML Kit需要基础库支持通常不需要单独添加但若构建失败可尝试 // implementation com.google.android.gms:play-services-mlkit-barcode-scanning:18.3.0 // 如果你使用了CameraX来简化摄像头操作推荐比直接Camera2更简单可以添加 // def camerax_version 1.3.0 // implementation androidx.camera:camera-core:${camerax_version} // implementation androidx.camera:camera-camera2:${camerax_version} // implementation androidx.camera:camera-lifecycle:${camerax_version} // implementation androidx.camera:camera-view:${camerax_version} }配置mainTemplate.gradle可选但重要这个文件是项目级的Gradle配置。我们可能需要在这里配置仓库和Android编译选项。// 文件位于: Assets/Plugins/Android/mainTemplate.gradle allprojects { repositories { // ... Unity自动生成的仓库 ... google() // 确保有Google的Maven仓库ML Kit从这里下载 mavenCentral() } } android { // ... 其他配置 ... compileOptions { sourceCompatibility JavaVersion.VERSION_1_8 targetCompatibility JavaVersion.VERSION_1_8 } // 如果遇到64K方法数限制可能需要启用multidex现代项目一般不需要 // defaultConfig { // multiDexEnabled true // } }实操心得Gradle依赖冲突是Android开发中最常见的问题。如果构建失败提示Program type already present或Conflict with dependency你需要使用./gradlew :app:dependencies命令在Unity生成的临时Gradle项目里运行查看依赖树然后使用exclude或强制指定版本号来解决冲突。在Unity中可以在mainTemplate.gradle的dependencies块中使用implementation(com.xxx:library:1.0) { exclude group: com.unwanted.group, module: unwanted-module }。5.3 构建与部署到Rokid眼镜连接设备使用USB数据线将Rokid眼镜连接到开发电脑。确保眼镜已开启开发者模式和USB调试。在电脑命令行输入adb devices应该能看到设备列表。Unity构建在Unity中File - Build Settings确保场景已添加点击Build And Run。Unity会编译项目生成APK并自动安装到眼镜上。真机调试Logcat查看使用adb logcat -s Unity或Android Studio的Logcat工具查看Unity和自定义Java代码的日志输出这是排查问题的生命线。权限检查首次运行如果扫描没反应请检查是否弹出了摄像头权限请求。可以在系统设置中手动为应用授权。画面方向如果扫码界面预览旋转了90度或180度需要检查AndroidManifest.xml中Activity的screenOrientation设置并在Java代码中正确处理图像的旋转角度image.getImageInfo().getRotationDegrees()。6. 常见问题排查与优化技巧在实际开发中你几乎一定会遇到下面这些问题。这里是我踩过坑后的经验总结。6.1 编译与构建问题问题构建失败提示“Cannot resolve dependency”或“Failed to resolve: com.google.mlkit:barcode-scanning”原因Gradle无法从配置的仓库下载到指定的库。解决检查mainTemplate.gradle中的allprojects.repositories确保包含了google()和mavenCentral()。检查网络连接特别是是否使用了需要代理的网络。可以在Unity的Preferences - External Tools - Android中设置Gradle的代理。尝试使用一个更稳定或更旧的库版本。问题构建成功但安装到设备后打开立即崩溃闪退原因最常见的原因是JNI调用失败、找不到类或方法、或者原生库.so文件不兼容。排查使用adb logcat | findstr -i fatal或adb logcat *:E查看错误日志。重点关注ClassNotFoundException,NoSuchMethodError,UnsatisfiedLinkError。检查Java包名和类名是否与C#脚本中调用的一致区分大小写。检查AndroidManifest.xml中声明的Activity名称是否正确。确认Scripting Backend为IL2CPP且Target Architectures包含了设备对应的架构ARM64。6.2 运行时功能问题问题点击扫描按钮没反应或者无法启动扫码界面原因权限未授予。AndroidJavaClass或AndroidJavaObject初始化失败当前Activity为null。Intent启动失败类名错误或Activity未在Manifest中声明/声明错误。解决在应用启动后先动态请求摄像头权限。可以在Unity C#中写一个权限请求工具或者确保你的扫码Activity包含了权限请求逻辑。在QRCodeManager的InitializeAndroidReferences方法前后加日志确认currentActivity是否成功获取。检查ScannerClassName字符串是否完全正确。检查AndroidManifest.xml确保Activity的android:name属性、android:exported属性设置正确。问题扫码界面黑屏或预览画面扭曲原因摄像头ID选择错误例如选到了不存在的或前置摄像头。预览Surface的尺寸与摄像头支持的输出尺寸不匹配。图像方向Rotation处理错误。解决在Java代码中打印所有摄像头ID及其特性LENS_FACING确认你使用的是正确的后置摄像头。通过CameraCharacteristics.SCALER_STREAM_CONFIGURATION_MAP获取摄像头支持的输出尺寸列表选择一个与你的预览控件如TextureView宽高比最接近的尺寸。使用image.getImageInfo().getRotationDegrees()获取图像需要旋转的角度并在创建InputImage或显示预览时应用这个旋转。问题识别速度慢或耗电高原因图像分辨率过高、处理帧率无限制、识别器未复用。优化降低分辨率将ImageReader的尺寸从1080P降低到720P甚至480P能极大减少数据量和处理时间。对于二维码识别640x480通常已足够清晰。控制帧率不要对每一帧都进行识别。可以设置一个时间间隔例如每秒处理5-10帧或者使用isProcessing标志位确保上一帧处理完再处理下一帧如示例代码所示。复用识别器BarcodeScanner实例应该在Activity生命周期内创建一次并复用而不是每次识别都创建新的。关闭预览在识别到结果后及时释放摄像头资源cameraDevice.close()停止后台线程。6.3 性能与体验优化使用CameraX替代Camera2推荐Camera2 API虽然强大但非常复杂。Google推出的CameraX库极大地简化了摄像头开发自动处理了设备兼容性、生命周期和旋转问题。重构Java代码使用CameraX代码量会减少一半以上稳定性更高。实现连续扫描与防抖在工业场景中可能需要连续扫描多个物品。可以在识别到结果后不立即关闭Activity而是短暂显示结果如1秒后自动清空继续扫描。同时加入简单的防抖逻辑比如同一二维码在0.5秒内只识别一次避免重复回调。自定义扫描UI示例中的Activity是全屏的。你可以创建一个自定义的布局文件layout XML在Activity的onCreate中setContentView实现一个带扫描框、提示文字和取消按钮的界面用户体验更佳。错误处理与超时增加网络超时、识别超时的处理。如果长时间未识别到可以给出提示音或视觉反馈。处理摄像头被其他应用占用等异常情况。与AR场景的深度集成我们的示例是在独立的全屏Activity中扫码。对于更沉浸的AR体验可以考虑使用AndroidFragment或SurfaceView将摄像头预览直接嵌入到Unity的某个Texture中实现“画中画”式的扫码用户无需离开AR主场景。但这涉及更复杂的Unity与Android视图层级混合实现难度较大。这套基于Rokid AR眼镜的Unity扫码识别方案从底层原生调用到上层业务集成基本涵盖了所有核心环节。它最大的优势是性能与稳定性的平衡。当然每款AR眼镜的硬件和系统可能有细微差别在Rokid真机上调试时可能需要根据其具体的摄像头参数和系统行为进行微调例如摄像头ID的选择、默认屏幕方向等。但整体的架构和思路是通用的掌握了这套方法你就能为任何基于Android的AR设备快速集成高效的扫码功能。本文还有配套的精品资源点击获取