书名：元宇宙漫游
ISBN：978-7-115-59873-8
本书由人民邮电出版社发行数字版。版权所有，侵权必究。
您购买的人民邮电出版社电子书仅供您个人使用，未经授权，不得以任何方式复制和传播本书内容。
我们愿意相信读者具有这样的良知和觉悟，与我们共同保护知识产权。
如果购买者有侵权行为，我们可能对该用户实施包括但不限于关闭该帐号等维权措施，并可能追究法律责任。
编 著 周鹏远 李力恒 许 彬 等
责任编辑 秦 健
人民邮电出版社出版发行 北京市丰台区成寿寺路11号
邮编 100164 电子邮件 315@ptpress.com.cn
网址 http://www.ptpress.com.cn
读者服务热线：(010)81055410
反盗版热线：(010)81055315
读者服务：
微信扫码关注【异步社区】微信公众号，回复“e59873”获取本书配套资源以及异步社区15天VIP会员卡，近千本电子书免费畅读。
本书结合国内外多位相关领域专家的见解，由浅入深地剖析了元宇宙的重要技术、生态和发展，将读者快速带入元宇宙世界，了解元宇宙的重要知识点。本书从人城交互、空间体验、计算机视觉、边缘计算、系统5个方面介绍了元宇宙的关键技术，内容涉及元宇宙时代城市和人类的沉浸式互动、计算机视觉相关技术、元宇宙的搭建和实现技术等。同时本书还探讨了元宇宙涉及的社会问题，包括元宇宙对生活、隐私等方面的影响，元宇宙中的恶意用户和检测问题，以及高效构建元宇宙的方式和方法等。本书不仅可以帮助广大读者了解元宇宙的前世今生、支撑技术，而且可以帮助相关专业人士把握元宇宙的重要发展方向。
本书适合对元宇宙感兴趣的读者阅读，也可以作为高等院校学生及科研机构研究人员的参考资料。
本书汇聚了国内外多位学者对元宇宙的认知、研究和思考，从不同角度由浅入深地带领读者了解元宇宙。与一般书籍不同的是，本书的多位作者专门从事相关方向的研究，因而除比较泛化的介绍以外，还提出了一些前沿问题，同时给出了很多比较深入的建议。这些建议对有志于或正在从事元宇宙相关事业的从业者和科研工作人员有着重要的指导意义。
本书第一部分全面介绍了元宇宙的概念、主要技术及生态，可以帮助读者快速了解元宇宙的梗概。第二部分则列举了几个关键的技术研究方向，分别介绍了人城交互、空间体验、计算机视觉、边缘计算、系统在元宇宙中的挑战和意义，并列举了一些包括作者所在研究团队的研究成果，以及一些亟待解决的重要课题方向。第三部分则从更深远的角度讨论元宇宙有可能带来的社会问题，包括道德、信任、安全和建设问题，帮助读者从另一个视角了解元宇宙的影响和挑战。
本书层次分明且提供了多个视角，方便不同群体阅读和了解元宇宙。
刘利刚
刘利刚，中国科学技术大学教授、博导。于2001年在浙江大学获得应用数学博士学位，曾在微软亚洲研究院、浙江大学、哈佛大学工作或访问。从事计算机图形学研究，已在该领域期刊ACM Transactions on Graphics上发表论文30余篇。曾获得“微软青年教授”奖（2006）、陆增镛CAD&CG高科技奖一等奖（2010）、国家自然科学奖二等奖（2013）等奖项。负责创建图形学在线交流平台GAMES。
31年前，也就是1991年，我清楚地记得《科学美国人》（Scientific American Magazine）发表了一篇封面文章，题目是《人类如何在赛博空间（Cyber Space）中工作、娱乐和发展》。前一段时间重新翻阅时，我惊奇地发现31年前这本期刊上所讲的一切在今天都变成了现实。当然，我也关注到当年发表这些文章的都是一些大家，比如说互联网之父温顿·瑟夫（Vint Cerf）、普适计算之父马克·维瑟（Mark Weiser）、著名的MIT Media实验室创立者尼古拉斯·尼葛洛庞帝（Nicholas Negroponte）。Negroponte是1996年出版的《数字化生存》这本书的作者。这些大家实际上在31年前就预言了今天的现实。
2020年我预感到2021年是元宇宙的爆发之年。我们团队的周鹏远博士与香港科技大学许彬院士团队合作了一篇有关元宇宙的英文综述论文，其中对元宇宙的关键技术和生态进行了系统的总结和阐述。这篇论文比Facebook更名为Meta还要早，迅速吸引了学术界的注意。
2022年已经来临，祝福大家在元宇宙当中能够找到自己的价值，找到自己的快乐，找到自己的存在。我也特别感谢参与本书编写工作的周鹏远博士、许彬院士、李力恒博士等学者。通过这本书我们可以了解专家的见解，知晓元宇宙下一步该着力发展哪些科技以及需要提前关心布局的潜在社会问题。
吴曼青
吴曼青，中国工程院院士，中国工程院副院长，中国科学技术大学网络空间安全学院院长，社会安全风险感知与防控大数据应用国家工程实验室主任。我国数字阵列雷达理论和技术体系的奠基人和引领者。自主创新了数字阵列技术，推动雷达体制的持续创新，成功研制国际领先水平的空警500预警机雷达，推动合成孔径雷达技术与应用实现重大突破，积极推进网络信息体系及其相关技术的创新发展和实战应用。获国家科技进步一等奖2项，国家科技进步二等奖2项。
元宇宙（Metaverse）一词最早可追溯到1992年尼尔·斯蒂芬森（Neal Stephenson）发表的科幻小说《雪崩》（Snow Crash）。这部小说以物理世界之上无所不在的虚拟世界为特征，描绘了主人公及其化身生活在一个物理-虚拟混合世界里。人们可以在这样一个融汇的世界里做各种事情。比较常见的例子包括与同事远程协作、与朋友聚会、一起体验虚拟活动（如参加演唱会、购物）等。也就是说，来自网络空间的多元化的数字或虚拟内容将逐步渗透到3D环境中，超越我们现有网络空间的2D画面。
该小说想象的世界与马克韦瑟在1991年提出的普适计算愿景相吻合：计算服务将嵌入我们生活的各个环节，用户可以在任何时间、任何地点访问虚拟内容。有了这样一个令人信服的愿景，在过去30年中，通过包括笔记本电脑、智能手机、物联网和智能可穿戴设备在内的蓬勃发展的计算设备，普适计算得以发展。与此同时，根据Milgram和Kishino的现实-虚拟连续体设想，目前的网络空间已经发生巨大的变化，前沿的尝试是通过增强现实（AR）和虚拟现实（VR）等虚拟环境来为人类用户提供服务和数字体验。虽然目前还没有人能够准确说出元宇宙实现时会提供什么，但最近的相关应用的确有可能作为沉浸式用户体验的主要测试平台。例如，Pokémon GO已经成为移动设备上非常受欢迎的AR应用（该应用拥有高达10亿次的下载量），而Google Cardboard则为大众带来了VR多媒体（例如YouTube VR）。
值得注意的是，从2019年开始的新冠肺炎疫情，可以说是史上最广泛的“实验”之一——进一步向虚拟环境迁移的各种生活功能能否被人们所接受。目前看来人们是可以广泛接受的。一些技术巨头，比如Meta公司和Microsoft公司，通过价格实惠的AR和VR的普适设备，将虚拟协作环境推到广大用户面前，其中包括普通消费者和企业。尽管扩展现实游戏和社交空间已经存在了数十年，但新冠肺炎疫情将虚拟世界的发展推到最前线，激发了数百亿美元的新投资，并促使人们预测元宇宙是“互联网的未来”或“下一个互联网战场”。AR和VR的支持者创建了更复杂和身临其境的3D在线环境，声称其快速发展肯定会对教育、医疗保健、游戏和娱乐、艺术、社会，以及其他的方方面面有所帮助。他们相信在人们的体验中融入更多的数据，开发人工智能（AI）辅助技术，创造新的空间体验，能够让他们的生活更加丰富多彩。很明显，这些新的领域和任何数字技术一样，都有健康问题、安全问题、隐私问题以及经济问题。
因此，我们预见下一步以沉浸式为特征的网络空间发展必须考虑主要驱动技术将会取得怎样的进展。本书作者对元宇宙的未来可能与挑战进行了技术层面的探讨。全书从三个层面循序渐进地带领读者进入元宇宙的世界。首先，作者对元宇宙的主要概念和技术生态进行了全面、简明的介绍，带领读者对元宇宙的整体进行了一次全面、简明扼要的了解。其次，作者对几个关键的研究方向进行了较为深入的剖析，包括空间设计感、计算机视觉、边缘/云、操作系统等，这些在同时面临诸多挑战的元宇宙中都是非常重要的支撑技术方向。作者在叙述相关技术方向的同时，根据自己的科研积累，列举了一些相关的研究成果，以帮助读者开拓思路，并帮助相关实践者对重要的课题方向进行进一步的挖掘。最后，对于元宇宙可能产生的社会问题，作者从更深远的角度进行了探讨。
陈绪
陈绪，阿里云技术战略总监，主要负责战略规划、技术生态、投资评估、前沿技术等方向。同时任中国开源软件推进联盟常务副秘书长，从事开源软件工作超20年，对云计算产业有较深刻理解。过往经历主要涵盖开源社区、市场合作、战略规划、投资分析等。曾任Sun中国工程院工程师、北京泰宇科技技术总监、英特尔云计算战略总监等职。师从中国科学院高庆狮院士，2002年毕业于北京科技大学信息工程学院，获工科博士学位。2012—2014年在清华大学经济管理学院学习，获EMBA学位。
元宇宙是个非常宏大的概念，与一般的技术甚至领域不同，元宇宙更像是一个多个领域、无数技术的超级集合体，是一个大的生态。它的前身可以算是当今的赛博空间或者网络空间。不同于当前的网络空间，元宇宙将用户吸入空间中心，用户不再是网络空间数据的旁观者，转而成为直接“生活”在数据中的生存者。通过沉浸式体验，用户可以在元宇宙中同时体验到现实世界和数字世界的二元性。元宇宙将带来全方位的网络、媒体变革，以及无法估量的新兴市场。元宇宙不仅是一个技术生态，更是一个重要的社会问题。因此，它的形成必然要经历长期的技术积累、多个领域的协作、产业链全体的努力。当整个链条不再具有明显的短板时，才有可能呈现出真正的元宇宙。目前，由于链条本身还不完整，再加上短板众多，我们能看到的只是元宇宙的一些碎片。
从2021年Facebook改名Meta开始，元宇宙风暴席卷全球，伴随而来的是各种各样的声音。相关的论文、书籍大量涌现，从业者试图从各个方向、各个领域抢占高地、争夺话语权。商业当然是首当其冲的主战场，因此相关的新闻、书籍也最多。作为学术科研人员，我们认为，元宇宙方向是大势所趋，积极推进相关方向已是时不我待，分秒必争，但同时，要冷静客观，稳扎稳打，以技术创新为根本推动力，以用户需求为根本导向，从实事求是的角度不断向前发展，才能创造良性的产业氛围。
其实元宇宙的核心方向如虚拟现实、增强现实、混合现实的相关产品、科研已经进行多年。尤其是Google公司在2012年推出Google Glass之后，很多科研人员投身其中，创造了很多吸引人的硬件和软件技术。再加上几大互联网巨头的坚持投入，造就了今天元宇宙的发展基础。这个过程并非一帆风顺，甚至可以说是一波三折，比如增强现实眼镜由于存在各种技术挑战和瓶颈，不断经历从刚推出时的大热，到用户使用一段时间后的抱怨，市场开始冷静，再到下一轮新产品推出，市场再次受到关注，循环往复。这个过程有点类似人工智能技术的发展过程。革命性的技术发展总是会经历起起伏伏，无数从业者的努力加上一些机遇，才能实现最终的成功和推广。
因此，与目前浮躁的声音相比，我们希望“冷静”一点，写一本从学术角度概述元宇宙的书。与其他方向相比，元宇宙学术方向的书籍少之又少。究其原因，一方面，可能是学术研究的大部分成果以论文形式呈现，更能带给研究人员反馈；另一方面，可能是从学术角度很容易将问题讲得过于复杂，超出大众读者的接受范围。因此，本书力争用日常语言将元宇宙的一些技术层面向大众展示。本书结合了多位国内外相关领域专家的见解，由浅入深，在保有一定的专业深度的同时兼顾针对大众的广泛普适性，可以帮助广大读者了解元宇宙的前世今生、支撑技术，也可以帮助相关专业人士把握元宇宙的重要发展方向。
本书内容可以分为三个部分，分别是概述、元宇宙关键技术以及元宇宙的社会问题。在第二部分和第三部分中，每章讲述元宇宙的一个子方向。这样设置的目的是让读者对元宇宙有一个全面了解。我们尽量减少理论叙述，更多结合实际应用讲解技术梗概，帮助读者逐步全面认识元宇宙。
第一部分概述了元宇宙涉及的重要技术、生态和发展，将读者快速地带入元宇宙世界，了解元宇宙的重要知识点。这一部分对各个要点点到为止，方便读者快速了解元宇宙。
第二部分由浅入深，从人城交互、空间体验、计算机视觉、边缘计算和系统5个方面介绍了元宇宙的关键技术。第2章介绍了在元宇宙时代城市和人类的沉浸式互动。第3章和第4章分别介绍了实现沉浸式体验的空间尺度体验设计和关键计算机视觉技术。第5章和第6章分别从边缘计算和系统层面介绍了元宇宙的搭建和实现。
第三部分拓展到元宇宙的社会问题。第7章概括元宇宙对生活、隐私等方面的影响。第8章结合可信人工智能讨论元宇宙的可信问题。第9章讨论元宇宙中的恶意用户和检测问题。第10章从现实生活的人类流动模拟推演城市发展中获得启发，讨论如何高效地构建元宇宙。
本书适合以下读者群体：
● 元宇宙相关公司的技术团队成员；
● 开设相关课程的高校本科生、研究生和教师及科研机构的科研人员；
● 对元宇宙感兴趣的相关机构及政府工作人员；
● 元宇宙相关产品的用户和爱好者。
● 对于元宇宙没有了解的读者，建议从第一部分按顺序阅读。
● 对于元宇宙相关方向的从业者，建议首先阅读第一部分，之后根据兴趣和需求重点阅读其他章节。
● 对于本科生、研究生、科研人员和教师，可以根据研究兴趣方向阅读相关章节，并结合参考文献拓展阅读。
● 相关机构、政府工作人员可以重点阅读第一部分和第三部分，了解元宇宙的整体脉络和社会问题，以帮助提前布局。
除封面署名的作者以外，参加本书编写工作的还有Simo Hosio、王林、Tristan Braud、Carlos Bermejo、陈阳和李勇。由于作者的水平有限，加之编写时间仓促，书中难免会出现一些错误或者不准确的地方，恳请读者批评指正。如果你有更多的宝贵意见，欢迎通过出版社与我们取得联系，期待得到你们的真挚反馈。
首先要感谢Pan Hui教授，是他在我博士期间后半段和博后期间对我的指导，带领我走上元宇宙之路。
感谢吴曼青院士的大力支持，是他促成了我们的相关活动和这本书的诞生。
感谢每位作者的帮助，他们在短时间内完成并多次修改书稿。
感谢出版社的编辑老师，在这半年的时间中始终支持我的写作，你们的鼓励和帮助引导我能够顺利完成全部书稿。
最后感谢我的爱人Ada和父母，你们时时刻刻为我灌输着信心和力量！
谨以此书献给我最亲爱的家人，以及众多热爱元宇宙的朋友们！
周鹏远
本书由异步社区出品，社区（https://www.epubit.com）为您提供相关资源和后续服务。
您还可以扫码右侧二维码， 关注【异步社区】微信公众号，回复“e59873”直接获取,同时可以获得异步社区15天VIP会员卡，近千本电子书免费畅读。
作者、译者和编辑尽最大努力来确保书中内容的准确性，但难免会存在疏漏。欢迎您将发现的问题反馈给我们，帮助我们提升图书的质量。
当您发现错误时，请登录异步社区，按书名搜索，进入本书页面，单击“发表勘误”，输入错误信息，单击“提交勘误”按钮即可，如下图所示。本书的作者和编辑会对您提交的错误信息进行审核，确认并接受后，您将获赠异步社区的100积分。积分可用于在异步社区兑换优惠券、样书或奖品。
扫描下方二维码，您将会在异步社区微信服务号中看到本书信息及相关的服务提示。
我们的联系邮箱是contact@epubit.com.cn。
如果您对本书有任何疑问或建议，请您发邮件给我们，并请在邮件标题中注明本书书名，以便我们更高效地做出反馈。
如果您有兴趣出版图书、录制教学视频，或者参与图书翻译、技术审校等工作，可以发邮件给我们；有意出版图书的作者也可以到异步社区投稿（直接访问www.epubit.com/contribute即可）。
如果您所在的学校、培训机构或企业想批量购买本书或异步社区出版的其他图书，也可以发邮件给我们。
如果您在网上发现有针对异步社区出品图书的各种形式的盗版行为，包括对图书全部或部分内容的非授权传播，请您将怀疑有侵权行为的链接通过邮件发送给我们。您的这一举动是对作者权益的保护，也是我们持续为您提供有价值的内容的动力之源。
“异步社区”是人民邮电出版社旗下IT专业图书社区，致力于出版精品IT图书和相关学习产品，为作译者提供优质出版服务。异步社区创办于2015年8月，提供大量精品IT图书和电子书，以及高品质技术文章和视频课程。更多详情请访问异步社区官网https://www.epubit.com。
“异步图书”是由异步社区编辑团队策划出版的精品IT图书的品牌，依托于人民邮电出版社几十年的计算机图书出版积累和专业编辑团队，相关图书在封面上印有异步图书的LOGO。异步图书的出版领域包括软件开发、大数据、人工智能、测试、前端、网络技术等。
异步社区
微信服务号
第一部分对元宇宙的主要概念和技术生态进行了介绍，带领读者对元宇宙的整体进行一次全面、简明扼要的了解。综合来看，元宇宙的发展涉及三个阶段——数字孪生、数字原生以及物理与虚拟现实共存。当虚实结合的技术更加成熟时，混合现实将逐渐成为新常态。我们总结了构建元宇宙的八大支撑技术和六大生态要素。八大支撑技术包括用户交互、扩展现实、计算机视觉、人工智能/区块链、机器人/物联网、边缘/云、网络和硬件基础设施。六大生态要素包括社会接受度、安全和隐私、信任和责任、内容创作、虚拟经济以及虚拟化身。
作者介绍：
许彬（Pan Hui），香港大学学士、硕士，剑桥大学计算机科学系博士，香港科技大学（广州）计算媒体与艺术学域讲座教授兼元宇宙研究中心主任，以及香港科技大学新兴跨学科领域讲座教授，赫尔辛基大学诺基亚数据科学讲座教授。他是增强现实和移动计算领域的专家，也是英国皇家工程院外籍院士、欧洲科学院院士，同时还是IEEE会士和ACM杰出科学家。
元宇宙（Metaverse）一词取自尼尔·斯蒂芬森（Neal Stephenson）于1992年发表的小说《雪崩》（Snow Crash）。这本书介绍的元宇宙比较接近今天的虚拟现实，即用户可以通过配套的智能眼镜进入虚拟世界，也可以通过其他设备跟元宇宙中的其他用户化身（avatar，也译作虚拟人）交互。用户在元宇宙里可以进行日常活动，如社交和消费等。
图1-1（a）展示的是2000年左右互联网刚兴起时《纽约客》刊出的一幅漫画。它传达的是“on the Internet, nobody knows you’re a dog”，旨在强调当时互联网刚普及，谁都可以使用网络，“即使用户是一条狗也没有人会知道”。图1-1（b）表达的是在元宇宙中，用户可以选择做一只猫，旨在强调用户在元宇宙中可以选择跟现实世界截然不同的生活方式，如“选择猫作为自己的化身来体验猫的生活”。这是一个巨大的转变，即用户不仅可以像今天的互联网一样隐藏自己的真实信息，而且可以更进一步地使用虚拟身份体验别样的虚拟人生。举个比较直观的例子，在元宇宙里，用户好像在玩一款大型的真人游戏，每个用户可以扮演不同的角色。这些角色可以是任何人、物，而其他用户并不知道每个角色后面的真实用户身份。当元宇宙普及时，用户可以在元宇宙中体验另外一种甚至多种在现实世界中完全没有机会体验的生活，拥有截然不同的生活方式、习惯、内容和经历。这很像平行宇宙和多元宇宙的概念，元宇宙用虚拟世界实现了这一梦想。
图1-1 在网络世界中用户可以隐藏身份
当然，要实现元宇宙这一庞大复杂的生态系统需要长期的发展和技术积累。通常，我们认为元宇宙会历经三个阶段，各个阶段之间或许会出现重叠时期（见图1-2）。
图1-2 元宇宙的三个阶段
第一个阶段称作数字孪生（digital twin）。此阶段可以理解为现实生活的模拟，即把现实生活数字化、模型化。当然，数字孪生不只是单纯的数字化过程，孪生模型与现实物体间需要保持重要属性的数据关系，而且孪生模型也可以对现实物体本身产生影响。具体来说，数字孪生是一个规模化的虚拟模型，用于准确地反映物理对象以及与对象相关的多样数据，如一个物体或一个系统乃至一套流程。
第二个阶段称作数字原生（digital native）。在此阶段，虚拟世界将产生现实生活中不存在原型的物体。最近，很多艺术家通过NFT创作的数字艺术作品就属于数字原生范畴，这些作品只有数字形式而没有实体。另外，目前出现较多的是数字原生阶段的元宇宙建筑，虽然大多暂时停留在二维呈现阶段，不具备沉浸式体验，但依然吸引了不少用户，例如Decentraland和Sandbox等平台可供用户交易虚拟土地或建筑。
第三个阶段是前两个阶段的混合，即数字孪生和数字原生共存。
目前，关于元宇宙的准确定义众说纷纭，其中，Meta（原Facebook）公司的定义偏向虚拟现实，因此该公司构建大多数产品的目的是吸引用户进入虚拟世界。其他一些公司和产品，例如Google公司或者游戏Pokémon GO，则倾向扩展现实或者混合现实，即虚实结合。我个人的看法是短期内可能会更多地向虚拟世界发展，因为虚拟现实相对而言实现起来更容易，所有的东西全是虚拟的，不需要考虑和现实世界结合的问题。但是10～20年之后，当虚实结合的技术更加成熟时，混合现实将会逐渐成为新常态。届时，大家可能戴着智能眼镜或者拿着手机（手机依然存在，只是形状各异），在现实生活中见到很多虚拟的物体。例如在餐厅用餐，朋友们以化身的形象出现在身边。我认为这是未来人们必须接受的一种生活状态，我把它叫作超现实（surreality）：虚拟个体以逼真的形象完全融入人们的日常生活，达到难辨真假的程度。这也是我认为的元宇宙比较理想的状态。
那么怎样建造元宇宙呢？大致的流程如图1-3所示，包括：（1）数字化现实世界（数字孪生）；（2）创作只存在于虚拟世界的内容（数字原生）；（3）现实世界和虚拟世界共存（元宇宙）。首先，把现实世界做数字孪生，产生一个庞大的数字模型。需要再次强调的是，数字孪生是高保真数字模型，而且可以根据具体应用有针对性地保存现实世界的一些重要性质。例如，若要观察风力对建筑物的影响，则可以舍弃建筑内部的桌椅等，只数字化建筑的外形和材料等。如前所述，数字孪生阶段之后将进入数字原生阶段，在元宇宙中创造没有现实世界对应实体的内容。最后，现实世界和（由数字孪生和数字原生组成的）虚拟世界无缝共存。人们走在街上会同时看到真实的街道和虚拟的物体。
（a）现实世界
（b）数字孪生
（c）元宇宙
图1-3 元宇宙构建过程
在数字原生阶段，数字原生内容需要艺术家、建筑师以及其他各行各业的创作者包括程序员等通过艺术或者代码的方式进行创造。最近出现一个新兴职业——元宇宙建筑师，他们专门负责在元宇宙中帮客户建造房屋，且建造价格不菲，设计并建造一栋大厦大约需要200万元。由此可以看出，新的内容创作形式伴随着新的经济活动形式。随着元宇宙的发展，我们可以预见多种多样的经济活动。
至此，很多人关心的一个问题是：元宇宙跟现在的虚拟现实、增强现实、扩展现实的区别是什么？例如，Meta公司对元宇宙的定义比较像虚拟现实，Pokémon GO的定义比较像增强现实、扩展现实，还有一些游戏开发公司认为元宇宙就是一种类似《第二人生》（Second Life）或者《我的世界》（Minecraft）的游戏。那么元宇宙到底是什么？
我认为元宇宙跟上述技术都有本质上的区别。虚拟现实、增强现实、扩展现实都是具体的科技手段，本身的发展依赖于其他技术，如人工智能、计算机视觉等。而元宇宙是一个生态系统，它通过各种技术建立一个多元的系统体系。元宇宙由很多技术和数据构成，而非单一的某种技术——这是元宇宙与增强现实、虚拟现实、扩展现实比较大的区别。
我认为元宇宙的另一个特点是自我维持能力。元宇宙在与现实世界交互的同时需要保持高度的独立性，能够独立于现实世界而存在。这就要求它具备自我维持机制，否则可能会快速建立然后快速消失——这并不是我们期待的元宇宙。实现自我维持面临着许多挑战，例如，理论上元宇宙应该支持多个平行虚拟世界中无限数量并发用户的实时体验活动，不过这在技术上很难实现。现在的一些虚拟现实系统，例如Meta公司的Workroom只能支持大概20个并发用户在同一个房间里交互。因为每个用户的表情渲染、实时动作渲染都需要大量算力支持。大量的并发用户实时交互要求足够多的机器和算力，这些都需要足够的资金和坚实的辅助技术支撑。
当前元宇宙的发展阶段是什么呢？大约在2004年，我看了《雪崩》这本书，它描述的未来世界跟现在的元宇宙已经比较接近了。更早期的图书，如1984年出版的《神经漫游者》（Neuromancer）描述的世界是人通过在大脑中植入设备来连接虚拟世界，但是同一时间只能存在于虚拟世界或者现实世界中的一个。
如图1-4所示，时间轴从1974年一直延续到2022年。以时间轴为分界线，轴上方是元宇宙相关的产品、应用或者其他内容，轴下方是各种相关的技术。20世纪七八十年代，计算机还未普及，但元宇宙的雏形已经出现在文学作品中。20世纪80年代末到90年代初，个人计算机和计算机图形学的出现催生了文字交互游戏。随着计算机图形学的发展，交互界面的内容越来越丰富。20世纪90年代末到21世纪初期，在线大型多人游戏如《第二人生》《我的世界》等开始风靡世界。当时《第二人生》的同时在线用户规模有数十万。从2000年开始，随着互联网的普及、智能手机的发展，以及最近几年区块链、加密货币、虚拟现实、增强现实等技术的发展，Pokémon GO等更加沉浸式体验的应用逐渐出现。
2021年被称作“元宇宙元年”。但其实在2021年之前，元宇宙相关的科技如虚拟现实、增强现实就已经积累了多年，并非突然冒出来的。那为什么2021年突然开始大火呢？我认为其中关键的催化剂之一是NFT——它促进了数字资产确权的保障，进而催生出迷恋猫等数字经济交易平台。目前，元宇宙仍处于早期发展阶段，生态还很不健全。理想情况下，我们希望科技创新可以优化用户的使用体验，例如让用户更方便快捷地进入虚拟世界（不需要配备设备），增强感知体验（五感皆有），同时解锁元宇宙的隐藏功能。
图1-4 元宇宙发展历程
图1-5总结的相关科技产品的发展版图可以帮助我们更清晰地认识当前元宇宙在各个方向有哪些应用和产品以及在哪些方向还有待发展。
横轴是内容丰富程度，从左到右内容性逐渐增强。最左侧是文字内容（如短信等应用），然后是图像内容（如拍照等），再往右内容逐渐多元化，出现音频、视频、游戏等，最右侧是现在的虚拟现实、混合现实，其发展顺序也基本上遵循时间轨迹。
纵轴是用户体验和参与度。最下方是简单的读写操作，没有个性化体验。注意，Zoom、腾讯会议等视频会议软件本质上也是读写体验，只是内容形式较基本的文字读写应用更为多元，但是所有用户接收到的内容几乎都是一样的，同样没有太多个性化体验，因此和短信一样同属于比较初级的用户体验。增强用户体验首先要关注用户的个性和特性，提供个性化服务。例如Netflix根据用户的观影习惯做个性化电影推荐。Fortnite是一款很出名的VR游戏，用户可以个性化地选择自己的化身。更进阶的用户体验增强是通过允许用户原创内容来提升参与度。例如YouTube用户可以上传自制视频，而不只是浏览网站发布的视频。再高阶的手段是建立用户社区。因为人类作为群居动物，天生喜欢社交，所以通过建立社区可以更好地维持用户参与度，提升用户体验感。例如抖音等短视频应用以及微信朋友圈的用户参与度和黏性就比前述应用更高。
在图1-5的顶部空白区域，体验二元性是目前亟待发展的领域，即虚实融合的无缝体验。正如电影《黑客帝国》中Morpheus问Neo的问题：“What is real”（什么是真实的）。在电影中，人们无法分辨是处在现实世界还是虚拟世界，我们希望元宇宙也可以达到难以分辨、虚实融合的程度。
图1-5 元宇宙的发展版图
另一个有待重点发展的方向是元宇宙中的数字原生内容的保存机制和系统。现实生活的内容创作可以保存在博物馆或者图书馆中。元宇宙需要类似的机制以保存文创作品，如元宇宙博物馆、元宇宙图书馆等。同时还需要元宇宙博物馆工作人员、元宇宙历史学家从事相关的文创整理存留工作。这也是为了满足前面提及的自我维持机制方面的要求。
本节将介绍一些科技与生态系统的内容，更多的技术细节参阅后面的章节。如前所述，我把元宇宙定位成生态系统，它的发展需要多种具体技术支撑，只有支撑技术达到硬性指标才能实现理想状态的元宇宙体验。我们在之前的工作[1]中总结了八大支撑技术和六大生态要素（见图1-6）。八大支撑技术包括用户交互、扩展现实、计算机视觉、人工智能/区块链、机器人/物联网、边缘/云、网络和硬件基础设施。六大生态要素包括社会接受度、安全和隐私、信任和责任、内容创作、虚拟经济以及虚拟化身。当然，元宇宙作为一个完整的生态系统可能还需要一些其他的辅助技术和生态要素，上述是我认为元宇宙中最重要的部分。
图1-6 元宇宙的支撑技术和生态要素
支撑技术最顶层的是扩展现实和用户交互。扩展现实中的增强现实可以帮助用户从现实世界无缝进入元宇宙，类似于元宇宙媒介。扩展现实中的虚拟现实可以帮助用户进入完全封闭的虚拟世界。用户交互包括在元宇宙内的用户间交互以及用户和数字孪生、原生内容的交互等。例如，在元宇宙中实现无键盘、鼠标打字，需要用户和数字孪生交互科技来实现；用户跟化身握手，需要更复杂的交互技术以满足用户和虚拟手触碰时的实感体验。这些技术的表现依赖下层科技，如扩展现实使用计算机视觉技术获得所处环境、人工智能和区块链技术实现智能可信的用户交互等。机器人/物联网、边缘/云和网络有助于提升用户交互和扩展现实的服务范围与性能。本书的第二部分将展开介绍其中的一些关键技术。
建立元宇宙需要支撑技术的同时也需要图1-6上半部的“软科技”来构建完整的生态系统。例如用户、艺术家或者建筑师在元宇宙里进行文创工作时，可以通过虚拟化身的形象出现，利用内容创作技术来创造数字作品。经济活动是维持生态系统持续发展的必要因素，元宇宙虚拟经济的发展可以满足用户希望在虚拟世界中获取财富的期待，其中部分经济收入也可用于元宇宙的运维服务。道德方面的考量对元宇宙的稳定发展同样至关重要。因为虚拟物体比现实物体更难管控，例如，如果用户的化身没有相应的限制，可能会出现有一定危害的自定义外表和不规范行为举止。元宇宙最终能否普及很大程度取决于社会的接受程度。
最近几年，Meta公司频繁爆出数据泄露的传闻，泄露的数据大多是用户的隐私数据。类似的问题到元宇宙时代可能会造成更严重的后果。当用户借助智能眼镜或者其他可穿戴设备进入元宇宙时，这些设备会采集用户的生理数据并储存在元宇宙中，如肌电设备会采集肌肉和神经的信号。这些数据附带很高的商业价值，如何保障这些隐私不外泄或者被运营商倒卖？这些问题的影响深远，同时也是元宇宙最终能否被大众接受的关键因素之一。在信任和责任方面，元宇宙也面临很多挑战。现实生活中，人们通过一些合作或接触达成和他人或机构间的信任。到了元宇宙时代，如何对不知道真实身份的化身建立信任？若恶意用户仿制别人的化身实施犯罪，如何归责？化身的原用户需不需要承担责任？通过什么机制去确认责任？在搞清楚这些“软科技”问题前，贸然建立的元宇宙生态可能会引发很多社会问题。本书的第三部分将对其中的一些关键社会问题展开介绍。
图1-7对元宇宙的支撑技术和生态要素进行了更细致的归纳，总结了各项支撑技术和生态要素对应的关键点。人工智能可以实现数字孪生的自动化，产生像《黑客帝国》里的Agent Smith（Smith是无用户参与、自主的人工智能，负责追溯犯罪、维持元宇宙里的秩序和运作）。区块链可以参与数据互操作、数据分享、数据确权等。以前，数码艺术发展较慢的主要瓶颈是数字确权，因为数码艺术品可以轻易被复制盗版，失去稀有属性从而快速贬值。现在的NFT可以提供数字产品确权，保障正版和作品的稀有属性，进而保障作品价值。
图1-7 元宇宙支撑技术和生态要素细节
扩展现实可以通过相机或者一些其他的输入方法，用图像、音频甚至气味来增强用户对现实的感受。2021年，扩展现实领域获得了一些突破性的工作进展，实现了用全息投影呈现高保真影像，不需要借助显示设备或者眼镜，就能直接在空间中看到影像的效果。如图1-8所示，图中右侧的全息影像采用飞秒激光技术，相较纳秒激光更为安全，而且手触动影像时能产生轻微的触感，增强用户体验实感。这些技术可以用来创建按钮或其他交互式全息控件。
图1-8 全息影像
同时，扩展现实支持多人交流、协同创作。如图1-9所示，多位艺术家穿戴多种设备，通过手势、文字、语音等进行交流，实现协同创作。这里只简要介绍几种科技和生态要素，更多信息欢迎查阅我们的论文（参见本章的参考文献）。
图1-9 协同创作
显示技术的持续快速发展可以让人们在不远的将来看到更多的虚实沉浸式结合体验变为现实。图1-10展示了我们团队的一项成果，该成果实现了在虚拟环境中通过手势进行无键盘打字。图1-11展示的是用手拖动文档在设备间传送的功能，包括把文件拖动到投影仪中播放。
我们在2021年10月（Facebook公司改名前）发表了一篇长篇英文论文[1]。该论文全面概括了元宇宙的进展、重点和未来研究方向。截止到本书完稿，这篇论文现在ResearchGate上的阅读记录已有8万多次。我们同时制作了论文的中英版PPT[2]，约150页，欢迎通过文前的“资源与支持”获取。
图1-10 增强现实键盘
图1-11 增强现实文件拖动
问题1：（由Pokémon Go Medium研究实验室的一位一年级博士生提出）现在学术界跟工业界对元宇宙有多种多样的定义，您觉得我们在未来是否需要一个广义上统一的定义？
许彬院士：谢谢，我觉得这是一个很好的问题。现在的元宇宙定义可能还处于类似战国时代百家争鸣的阶段，这是一个比较有趣的时期。我觉得目前不太需要一个共识，例如元宇宙应该是一个完全虚拟的世界，还是一个虚实结合的世界。我预计将来会是二者共存：未来进入另一个世界就像现在点击链接进入网站一样，用户可以通过设备自由切换到另一个世界，这个世界可以是增强现实世界（类似Pokémon Go的游戏），也可以是虚拟现实世界（如《侏罗纪公园》）。未来发展到一定阶段，需要在某些方面达成一定的共识：例如运营商之间的标准——在一个运营商运维的元宇宙世界中的货币在另一个运营商运维的元宇宙世界能否产生效益；或者用户的化身在不同运营商运维的元宇宙世界中穿梭时是否要保持统一形象等。诸如此类的情况需要一些共识来维持元宇宙的秩序和规范。因此，我觉得在某些方面可以在百家争鸣的时代中各自发展，待某些同质化的方面发展到一定阶段时可能需要标准化。这需要具体问题具体分析，不能一概而论。
问题2：大家都关心元宇宙之后会不会像虚拟现实、增强现实一样就火一阵，资本跟风，然后慢慢淡出视野，变成昙花一现？
许彬院士：这是一个非常好的问题。有一个前例，就像人工智能已经历经起码两三个寒冬，也许现在还正处在另一个寒冬。虚拟现实和增强现实是两种技术的发展，技术发展到一定程度往往就会达到瓶颈，例如几年前，虚拟现实和增强现实的设备、电池、隐私方面的一些瓶颈突破不了，就只能先暂缓，等瓶颈突破了再继续发展。相较而言，我对元宇宙的发展持乐观态度，因为元宇宙是一个庞大的生态系统，不会像具体的某项技术一样遇到瓶颈就只能等待，而是在某方面遇到瓶颈时转而先发展其他方面。而且，现在很多大公司巨资投入研发，Facebook公司连名字都改了，声称要在欧洲纳入1万人来进行开发，所以我觉得他们的投入和决心是很大的。
其实，即使出现瓶颈也不一定是坏事。例如面对一些隐私或道德上的隐患，可能暂缓脚步、思考策略对保持稳定的长期发展是必要的。
问题3：当前元宇宙最关键、最需要解决的技术问题，您觉得可能是什么？
许彬院士：第一是确权，可以用NFT的方法来解决。没有确权的保障很难吸引投资者。第二是元宇宙的媒介——虚拟现实和增强现实。虚拟现实相对容易，用户可通过头戴式设备完全沉浸在虚拟空间里，看不到外面的现实世界。这方面目前的重点是设备价格能不能降低。增强现实的技术挑战高一些，特别是电池的技术，增强现实一般适用于移动范围更大尤其是户外的场景，为了满足用户的移动自由，增强现实眼镜必须是无线，续航自然是最重要的问题之一。另外计算机视觉方面的操作表现目前受限于头戴式设备的性能。手机可以负载相对复杂的任务，但是沉浸式体验不如头戴式设备。因此还有很多技术性难题亟待解决。
元宇宙将进一步促进物质生活在各个方面的数字化转型。虚拟世界将沉浸式互联网视为一个巨大的、统一的、持久的共享领域[3]。技术是推动当前互联网向元宇宙过渡的动力。总体来说，我们认为元宇宙包含8种支撑技术：用户交互、扩展现实、计算机视觉、人工智能/区块链、机器人/物联网、边缘/云网络和硬件基础设施；6个生态要素：虚拟化身、内容创作、虚拟经济、社会可接受度、安全和隐私、信任和责任。
在第2部分中，我们将以最广泛的元宇宙存在形式——人类与城市的沉浸式交互为背景，讨论实现沉浸式元宇宙的几种重要技术挑战和可行方案。在第三部分中，我们将讨论一些元宇宙可能引起的重大社会问题及治理方案。
[1] LIK-HANG L, TRISTAN B, PENG Y Z, et al. All One Needs to Know about Metaverse: A Complete Survey on Technological Singularity, Virtual Ecosystem, and Research Agenda[EB/OL]. (2021-10-06) 2022-06-30]. https://arxiv.org/abs/2110.053522.
[2] LIK-HANG L, TRISTAN B, PENG Y Z, et al. The Hitchhiker’s Guide to the Metaverse [EB/OL]. (2021-11-23) [2022-06-30]. https://doi.org/10.13140/RG.2.2.34955.21287.
[3] LIK-HANG L, PENG Y Z, TRISTAN B, et al. What is the Metaverse? An Immersive Cyberspace and Open Challenges[EB/OL]. (2022-06-07) [2022-06-30]. https://arxiv.org/abs/2206.03018.
读者服务：
微信扫码关注【异步社区】微信公众号，回复“e59873”获取本书配套资源以及异步社区15天VIP会员卡，近千本电子书免费畅读。
