说个关键概念——TOPS(Tera Operations Per Second),就是芯片每秒能跑多少万亿次神经网络运算。15 TOPS听起来挺唬人,实际上什么水平?1-3B参数的语言模型跑一次完整推理需要好几秒,AR场景要实时响应的话,还得靠模型量化(FP32压成INT8/INT4)才能勉强跟得上。
手势交互是Orion区别于其他AR眼镜的核心。不同于Quest依赖手柄或Ray-Ban Meta Smart Glasses依赖语音,Orion靠内置红外传感器和摄像头实现手部26自由度追踪。直接用手指在空气中点击、滑动、捏合,这种交互更直觉,但对AI感知能力要求也更高——实时识别手指骨骼、控制点、判断点击意图,每秒帧率要60FPS以上。
AI Runtime是Meta给端侧模型推理专门打造的运行时环境,负责模型加载、调度、量化优化和推理执行,类似于Apple的Core ML或Google的ML Kit。区别在于Orion的AI Runtime要同时处理多个并发任务——语音识别、视觉感知、手势理解、对话生成——这些任务共享NPU资源,需要精细的调度策略。原型版多任务并发时偶尔卡顿,很可能就出在这儿。