一文看懂XR科技（扩展现实）——人类交互方式的终极形态

2020-02-18 19:43:50
我要分享


微信扫码分享

大家好，我是零日情报局。

对于未来科技的安全研究，零日可能会迟到，但从不会缺席。今天我们就来谈谈最近大家热烈讨论的XR科技。

不过，此XR并非彼XR，我们要谈的不是苹果iPhone XR的安全问题，而是扩展现实（XR - Extended Reality），一种被称为属于未来的新鲜技术。

VR/AR/MR/XR四者之间什么区别？

作为科技安全圈的老司机们，想必大家已经有过VR或AR接触史，甚至不少发烧友花大价钱自购了VR/AR设备，但MR和XR又是什么新品种？别着急，零日先来大致说一下VR/AR/MR/XR四者之间的区别。

先上一张图。一目了然，扩展现实（XR）就是VR/AR/MR三者的集合，所以也有人根据扩展现实（XR）是“由计算机图形和可穿戴设备生成的所有真实和虚拟环境”的定义，将XR中的“ X”理解成一个变量。

也就是说，现在有AR/VR/MR，未来还可能有BR（迷惑现实-Baffle Reality）、CR（影像现实-Cinematic Reality）、DR（蒙蔽现实-Deceive Reality）等等“R”字辈科技。（当然这都是零日随口一说，能不能实现还得技术大佬们说了算的）

言归正传，扩展现实XR是一个囊括三种技术的总称，而VR/AR/MR就各有不同了：

首先，VR又叫虚拟现实（Virtual Reality），说白了就是假现实。具体指的是利用电脑模拟三维空间，通过感官模拟一种沉浸感和临场感，就像把人带到一个虚拟的仿真世界。

不过，要是单纯的影像内容，就和看普通3D电影没什么差别；所以虚拟现实VR内容和传统3D影像的区别在于人与影像内容的互动感。

（这就跟《盗梦空间》差不多，游走在90°折叠的城市，能骗过眼睛五感和大脑，全程高能又科幻，但一切都是假的！）

至于AR增强现实（Augmented Reality），则是现实世界的Pro版。说简单点，就是在真实空间里植入虚假内容，把虚拟信息（物体、图片、视频、声音等）映射在现实环境中。很明显，VR是带你精神穿越，AR则是高楼林立的现实中，再现海市蜃楼。

最后，MR，混合现实（MediatedReality），倒可以直接看作是VR/AR结合体，因为它指的是合并现实和虚拟世界后产生的新可视化环境。举个简单的例子，下班回家的你，戴上MR设备看暴力美剧，施瓦辛格会跳出传统屏幕，在你眼前吹胡子瞪眼，甭管你移动到哪，他都只对着你演。

眼下，“R”科技能干嘛？

在XR的几种技术中，可以说AR民众基础最大，至于能干嘛？光AR应用就能让你大开眼界。

（1）AR游戏

虚实融合娱乐至死，催生了AR游戏畅快淋漓的极致体验，也促成了AR游戏火爆全球。从技术上来说，脱胎于增强现实技术的AR游戏，在多动态Marker、HDR反射、遮挡碰撞及GPS技术的加码下，最终突破了虚实界限。

AR游戏《哈利波特：巫师联盟》

2016年，任天堂与Niantic联合开发的《Pokémon Go》风靡各国，进一步加速了AR在游戏领域的发展，哈利波特等经典IP纷纷开始AR游戏化。

AR游戏《The Machines》

（2）AR相机

游戏之外，镜头之下，同样有AR的天地。2019年，字节跳动下属实验室AI Lab研发了一项名为Landmark的技术，透过3D视觉技术并针对室外场景进行检测、运算，在最快的时间内来呈现出这种AR特效。

上海东方明珠“天空之城”、重庆“朋克洪崖洞”

LandmarkAR 效果

现如今，这款技术已应用在抖音App中，在拍摄城市地标建筑时，就能体验到这种AR特效，除了一些自拍方向的AR相机研究，不得不说字节跳动将AR相机技术带进了新一代的短视频创作领域。

（3）AR导航

传统导航已不新鲜，AR导航正预谋取而代之。2019年，Google推出了GoogleMaps AR导航，视野正前方的AR景象，带来了“平视”导航新体验，开启了逆转“低头族”新趋势。

Google Maps AR之外，AR City、Moovit等“AR导航”破土而出，甚至汽车也开始研发AR导航应用。公交应用程序开发商Moovit也将AR引入其移动应用程序，帮助使用者通过视觉寻找车站。从而使用户可以更轻松地在视觉上找到站点和车站。

（4）AR军用

在游戏、相机等娱乐休闲类民用开发之外，AR技术逐渐渗透至军事领域。早在2018年，美国陆军曾一次性采购10万台HoloLensAR眼镜，用于战斗任务和士兵训练。

自此，AR技术逐渐发展出了一个军用向市场，并迅速出现了北美、欧洲、亚太、中东、非洲和南美等六个AR军用市场。其中，仅北美AR军用市场就齐聚了Google LLC、Applied Research Association Inc.等一大批公司。

从游戏到工具，从民用到军用，“R”科技能干的事儿远比看到的多。仔细研究还会发现，技术应用都跟扩展现实XR带来的复兴感官体验密不可分。

未来，XR能模拟哪些感官体验？

说到技术带来的感官体检，扩展现实XR及VR/AR/MR三种技术，最突出的就是视觉，其次则是听觉、触觉、嗅觉、味觉和“ 第六感 ”，共计六种体验。

（1）视觉体验

眼睛最直观也最难骗，而扩展现实XR带来的视觉体验，也根据VR/AR/MR的区别，呈现上有所差别。

首先，VR看见的影像，是全虚拟且无法看到现实环境的，所以就有了体验者与旁观者两种视角。在亲身体验者视角，戴上设备自己就是这个世界的勇者，就像这样。

而到了围观吃瓜群众眼中，你却是这样的。

至于AR技术的视觉体验，是看到现实环境中出现虚拟内容，有点类似在现实世界环境打网络CS，比如这样。

到了MR这，视觉体验上就既有AR又有VR。虚拟的内容可以映射在现实环境里，还能用过设备处理虚拟影像。

（2）听觉体验

音乐发烧友都知道杜比音效、无损音质，XR技术下的听觉体验，带来的则是3D版沉浸式音频体验。说简单点就是声音来自四面八方，分分钟站在舞台中心听音乐。

看见这过山车没，伴随着视觉上的刺激，听到的声音都是经过处理，最大限度模拟实景音频。

（3）触感体验

所谓触感，指的是因为接触而引起的反应，XR技术的触感体验，就是模拟人接触时的感觉。比如，你戴上装备，手中明明空无一物，却感觉在拆桌子。

（4）嗅觉体验

在XR技术领域，模拟气味虽然比较新颖，但研发机构也不在少数。原理解释起来也不复杂，就是通过变换气味的装备，根据你看到的摸到的东西，反馈最贴近的味道。

听起来嗅觉体验好像没什么，但要是放在实际体验上就不一样了。你“看见”有人递过来一束花，伸手接了过来并真实地触摸到了花的重量，接着你就闻到了花的香味。

（5）味觉体验

先别惊讶，XR技术模拟味觉的确真实存在，至于怎么实现？就要先从味觉感知上来说，都知道味觉来自舌头，其实视觉、听觉、嗅觉甚至记忆的作用下，也能模拟味觉体验。

吃东西的味觉来说了，最直观呈现味道的是舌头，但想复制味觉体验，却可以从眼睛、耳朵甚至记忆上下手。

聪明的研究人员们，就在气味、颜色、形状等因素上下功夫，从而实现增强味觉的体验。詹姆斯·比尔德基金会（James Beard Foundation）近期推出的Aerobanquets RMX中就通过XR体验，仿造了味觉的感知。

（6）第六感

别慌，零日要说的真的正常感知意外，意识上的“第六感”。不过“第六感”体验的实现，就要通过机器学习、人工智能在XR技术实现。

解释有点复杂，不过可以举例说明。比如，医生做手术前，先用XR技术模拟操作，这时机器学习和人工智能则会提供咨询服务，以此提高手术的成功性。

XR会遇到什么安全问题呢？

其实不用零日说，大家也都懂技术利弊双存的道理。XR的内核既然是模拟人的感官，其安全隐患，或者说威胁最终的受害者就是人本身了。接下来，零日就从安全角度，说说XR在数据安全和漏洞攻击两个方面对人的威胁：

（1）数据威胁

相比于已经让我们深陷信息泄露旋涡的常规电子设备和应用程序，XR设备不仅收集常规数据，还会大量收集使用者的声音、习惯、交互、样貌、注意力等详尽的隐私数据。这些更为个人的数据一旦被有心人窃取，稍加分析就能生成人物图像，进行精准打击。

（2）漏洞隐患

老粉都知道，零日一直说漏洞无处不在并非危言耸听，这个老问题放在XR技术上同样存在。而随着XR技术被广泛应用在游戏、购物、建筑、医疗、教育等专业领域，黑客顺“洞”而来，最先破坏就是视觉画面，可能是显示错误的数据，也可能是篡改的画面，威胁层级恐怕跟当前的网络攻击持平。

零日反思

零日一直强调，技术发展安全先行，XR技术普及纵然还有很长的路要走，但并不妨碍现在就开始夯实安全基础，不然等大楼建成了，再去研究怎么抵御攻击，成本和难度可就是现在的倍数了。

零日情报局作品

微信公众号：lingriqingbaoju

如需转载，请后台留言

欢迎分享朋友圈

参考资料：

UX Collective《通过5 + 1感官解释扩展现实（XR）》

一文看懂XR科技（扩展现实）——人类交互方式的终极形态

热点排行

关注我们