量子人工智能:前沿进展

978-7-115-69372-3
作者: 李绿周
译者:
编辑: 贺瑞君
分类: 其他

图书目录:

详情

量子人工智能是量子计算与人工智能交叉融合形成的新兴研究领域,其内涵一直在不断丰富和演变。本书对该领域的若干前沿研究进展进行梳理与总结,共分8 章。第1 章简要介绍人工智能和量子计算的背景知识;第2 章集中介绍基于线性代数的量子机器学习算法;第3章全面阐述变分量子电路;第4 章重点介绍人工智能技术如何应用于量子架构搜索;第5 章聚焦量子生成对抗网络;第6 章探讨量子图机器学习;第7 章介绍量子特征选择;第8 章在受量子启发的算法与模型方面,重点介绍量子自然语言处理方面的理论、方法与进展。 本书既可供对量子人工智能领域感兴趣的科学研究或技术开发人员参考,也可供量子计算或人工智能相关专业的研究生及高年级本科生阅读。

图书摘要

版权信息

书名:量子人工智能 前沿进展

ISBN:978-7-115-69372-3

本书由人民邮电出版社发行数字版。版权所有,侵权必究。

您购买的人民邮电出版社电子书仅供您个人使用,未经授权,不得以任何方式复制和传播本书内容。

我们愿意相信读者具有这样的良知和觉悟,与我们共同保护知识产权。

如果购买者有侵权行为,我们可能对该用户实施包括但不限于关闭该帐号等维权措施,并可能追究法律责任。

版  权

主  编 李绿周

副 主 编 林 倞 黄合良 严骏驰 周日贵 张 鹏

责任编辑 贺瑞君

人民邮电出版社出版发行  北京市丰台区成寿寺路11号

邮编 100164  电子邮件 315@ptpress.com.cn

网址 http://www.ptpress.com.cn

读者服务热线:(010)81055410

反盗版热线:(010)81055315

内容提要

量子人工智能是量子计算与人工智能交叉融合形成的新兴研究领域,其内涵一直在不断丰富和演变。本书对该领域的若干前沿研究进展进行梳理与总结,共分8章。第1章简要介绍人工智能和量子计算的背景知识;第2章集中介绍基于线性代数的量子机器学习算法;第3章全面阐述变分量子电路;第4章重点介绍人工智能技术如何应用于量子架构搜索;第5章聚焦量子生成对抗网络;第6章探讨量子图机器学习;第7章介绍量子特征选择;最后,在受量子启发的算法与模型方面,第8章重点介绍量子自然语言处理方面的理论、方法与进展。

本书既可供对量子人工智能领域感兴趣的科学研究或技术开发人员参考,也可供量子计算或人工智能相关专业的研究生及高年级本科生阅读。

编委会

主  编:李绿周

副 主 编:林 倞 黄合良 严骏驰

     周日贵 张 鹏

参编人员:司徒浩臻 吴宇森 何志敏

     关卉杰  李尧訐 刘 阳

前  言

随着大数据、深度学习(尤其是基于深度学习的大模型技术)的快速发展和应用,人工智能技术对算力的需求不断攀升,导致算力瓶颈日益凸显。而量子计算作为一种突破算力瓶颈的新型计算模式,近年来受到了广泛关注,成为世界各科技强国争相布局的战略制高点。当量子计算与人工智能这两大前沿科技相遇时,会碰撞出什么样的火花,自然成为一个备受关注的问题。

本书的编写缘起于2022年6月由中国计算机学会量子计算专业组(现为量子计算专业委员会)承办的“量子人工智能研讨会”。研讨会结束之后,人民邮电出版社的贺瑞君建议以此为契机,组织编写一本有关量子人工智能的图书。此后,经过多轮沟通与筹备,国内相关领域的研究人员组成了编委会,并在2023年年初启动编写工作。正所谓好事多磨,尽管本书编写期间历经编委会成员变动与章节内容调整,但经过编委会成员的团结协作、努力工作,历时两年多,终成定稿。

由于距编写工作的启动已经过去两年多,在此期间,量子人工智能领域又取得了许多新的进展,因此本书未能全面覆盖最新进展。不过,编写本书的初衷并非一味求全,而是希望通过对量子人工智能若干前沿研究进展的梳理与总结,介绍它的基本概念和主要思想,为感兴趣的读者提供参考,起到抛砖引玉的作用。本书第1章简要介绍人工智能和量子计算的背景知识。后续各章内容分为三大部分。首先,围绕如何基于量子计算技术加速或优化人工智能领域问题的求解,着重介绍量子人工智能的基础模型、算法及潜在应用场景,具体包括基于线性代数的量子机器学习算法(第2章)、变分量子电路(第3章)、量子生成对抗网络 (第5章)、量子图机器学习(第6章)、量子特征选择(第7章)。其次,围绕如何利用人工智能技术助力量子计算领域问题的求解,重点介绍人工智能技术如何应用于量子架构搜索(第4章)。由于这部分内容与变分量子电路紧密相关,所以安排在第3章之后。最后,在受量子启发的算法与模型方面,重点介绍量子自然语言处理方面的理论、方法与进展(第8章)。

作为当前的研究热点,量子人工智能吸引着越来越多具有不同学科背景的研究人员,相关研究成果不断涌现。然而,总体上看,对量子人工智能的研究仍处于初始阶段,需要更多严谨、认真的探索与实践。

本书由量子计算与人工智能领域12位一线研究人员共同撰写,具体分工如下:第1章由中山大学林倞教授、李绿周教授和刘阳副教授撰写;第2章由北京师范大学吴宇森博士撰写;第3章由信息工程大学黄合良副教授和中国科学技术大学关卉杰博士撰写;第4章由佛山大学何志敏副教授撰写;第5章由华南农业大学司徒浩臻副教授撰写;第6章由上海交通大学严骏驰教授撰写;第7章由上海海事大学周日贵教授和李尧焩博士撰写;第8章由天津大学张鹏教授撰写。李绿周担任本书主编,负责规划本书的内容结构和组织撰写工作。

在此向参与本书撰写、审校等工作的专家学者及工作人员致以诚挚的感谢!特别感谢人民邮电出版社高级策划编辑贺瑞君的大力支持。同时,也要感谢中国计算机学会量子计算专业委员会、人民邮电出版社、中山大学计算机学院量子计算与软件研究所等单位的支持。本书得到了国家自然科学基金项目(No.92465202、No.62272492)的支持。尽管作者已经尽力确保内容的准确性,但书中仍然难免存在不足,期待并欢迎读者提出宝贵的意见和建议。最后,衷心希望这本书能够对您有所启发和帮助,这是所有作者编写本书的动力所在。

全体作者

2025年8月

第1章 绪论

本章介绍人工智能(Artificial Intelligence,AI)和量子计算的背景知识,以及二者交叉融合的可能性。首先审视人工智能发展趋势,重点关注以多模态大模型 (Multimodal Big Model)为代表的新一代人工智能范式转变及其核心概念;随后深人分析新一代人工智能在实现通用人工智能(Artificial General Intelligence,AGI)过程中面临的挑战,如领域专业化不足和鲁棒性威胁;接着探讨量子计算这一颠覆性技术与人工智能的融合,剖析两者的相互关系;最后简单介绍量子计算的发展历程与一些基础知识。

1.1 人工智能发展趋势

自1950年英国数学家阿兰•图灵提出图灵测试以来,人们一直在努力研发能够通过该测试的机器,以不断推进通用人工智能的发展,目标是构建与人类语言智能水平相当的机器。语言作为一种复杂的符号系统,受到严格的语法规则约束。因此,开发能够理解和精通语言的强大人工智能算法面临着巨大挑战。在过去的二十多年里,语言建模方法被广泛运用于语言理解和生成领域,构建的模型包括统计语言模型和神经语言模型。

1.1.1 新一代人工智能的范式转变

近年来,研究人员通过在大规模语料库上预训练基于Transformer架构的模型,成功开发了预训练语言模型(Pre-trained Language Model,PLM),并展示了其完成多类自然语言处理(Natural Language Processing,NLP)任务的强大能力。当PLM的参数规模超过一定水平时,这种更大的语言模型获得了显著的性能提升,并且具备小型模型所不具备的能力,例如上下文学习(In-Context Learning,ICL)。为了与PLM区分,这类模型被称为大语言模型(Large Language Model,LLM),简称大模型。随着BERT、ViT、GPT-3、ChatGLM-6B等在大规模数据上训练、并能适配多种下游任务的语言/视觉大模型(Big Model)的兴起,人工智能的范式正在发生转变,主要表现在以下几个方面。

1.从单模态到多模态的范式转变

传统上,大模型主要处理单一类型的数据输入,例如文本或图像。然而,如今的大模型的结构和训练方法更加复杂和灵活,可以处理多种类型的数据输入,包括图像、视频、文本和语音等。这种从单模态到多模态(Multimodal)的范式转变使得人工智能系统能够更好地理解和处理不同类型的数据输人,从而更有效地完成各种任务。此外,多模态大模型使得人机交互更加自然和人性化,允许用户通过多种方式与人工智能系统进行交流,包括发送文本、图像和音频等。

2.从预测到生成的范式转变

大模型通常采用生成模型,能够在没有明确标签或答案的情况下生成新的数据,例如文本、图像和音频等。这种从预测到生成的范式转变赋予了人工智能系统更强的创造力和想象力,使其能够更好地完成一些创新性和创造性的任务。

3.从单任务到多任务的范式转变

大模型通常具有良好的泛化能力和可迁移性,能够同时处理多个任务。这种从单任务到多任务的范式转变使得人工智能系统能够更好地适应多变的应用场景,并具备更强的适应性和通用性。

4.从感知到认知的范式转变

传统的人工智能系统往往基于人类设计的规则和逻辑,并以单一类型的数据为基础。相比之下,大模型主要依赖海量的多样性数据进行学习和预测,更加灵活和强大。这种多样性让人工智能系统的感知和认知能力更接近人类,从而在各个领域的应用更加广泛和深入,并能够解决更多的现实世界问题。此外,一些多模态大模型具备自我学习和改进的能力,能够不断提高性能,逐渐向认知范式转变并接近实现AGI的目标。

5.从大模型到智能体的转变

通常认为,ChatGPT诞生后,人工智能真正意义上具备了和人类进行多轮对话的能力,并且能针对相应问题给出具体的回答与建议。随后,多个领域的智能“副驾驶”(Copilot)被相继推出,如Microsoft 365 Copilot、GitHub Copilot、Adobe Firefly等。它们让人工智能更好地应用于办公、编程、设计等场景。智能体(Agent[1])和大模型的区别在于,大模型与人类之间的交互是基于Prompt[2]实现的,用户给出的Prompt是否清晰、明确,会影响大模型回答的效果。例如,ChatGPT和上述智能副驾驶都需要用户明确任务后才能给出有用的回答。而对智能体来说,仅需首先给定一个目标,它就能够针对该目标独立思考,推理出详细的计划和步骤,并创建Prompt,然后采取行动来实现目标。相较于智能副驾驶,智能体可以算得上初级的“主驾驶”,它可以通过和环境进行交互,感知信息并进行思考和行动。智能体的最终发展目标就是实现AGI。

[1] Agent一词起源于拉丁语中的Agere,意思是“to do”。在LLM语境下,Agent可以理解为某种能自主理解信息、做出决策、执行复杂任务的智能体。

[2] Prompt可以被理解为一种启动机器学习模型的方式,它是一段文本或语句,用于指导机器学习模型,并生成特定类型、主题或格式的输出。在自然语言处理中,Prompt通常由问题或任务描述组成,例如“给我写一篇有关人工智能的文章”“将这个英文句子翻译为法文”等。在图像识别领域中,Prompt可以是图像描述、标签或分类信息。

1.1.2 大模型和基础模型

大模型通常是指拥有数亿到数千亿个参数的深度神经网络模型。这类模型能够在多任务和数据集上取得优秀的表现,常应用于自然语言处理、计算机视觉 (Computer Vision,CV)和语音识别等领域。流行的大模型包括BERT、GPT、T5、ELECTRA等。

基础模型(Foundation Model)通常是指在大规模数据上训练并且可以适配众多下游任务的模型。基础模型通常在大规模数据集上进行预训练,以捕获文本、图像和语音等数据中的通用特征和知识,并能够通过微调等方式适应更具体的任务和数据集。例如,BERT就是一种基础模型,被广泛用于自然语言处理领域的各种任务,如文本分类、命名实体识别、问答等。同样,生成式预训练(Generative Pre-training,GPT)也是一种基础模型,可以通过微调适应各种自然语言处理任务,例如机器翻译、文本生成和文本摘要等。

简单来说,基础模型是一种特殊的大模型,具有通用的特征和知识,可以为其他更具体的任务和领域提供基础支持。

从技术层面来看,基础模型并不新鲜,它们基于深度神经网络和自监督学习,这两种技术都已经存在了很多年。然而,过去几年基础模型的诞生数量和应用范围已经远超此前的预期。区别于传统的采用卷积神经网络和循环神经网络模块来实现特征提取的方法,GPT采用Transformer架构作为特征提取器,并以一种自回归的范式在大规模数据集上训练。例如,GPT-3有1750亿个参数,尽管没有在特定任务上进行明确的训练,它仍可以通过Prompt来适配特定任务,并在大多数任务上取得了不错的效果。

1.1.3 多模态大模型

多模态是指利用多种类型的媒体和数据(例如文本、图像、音频、视频等,它们之间存在关联或者对应关系)在不同的层面上传达信息和表达意义的方式。要处理多模态数据需要融合不同类型的信息,从而实现更加全面和准确的分析、理解和推断。多模态技术在人工智能领域中得到了广泛的应用。

多模态大模型是指具有处理多种类型数据(包括文本、图像、音频、视频等)能力且参数量极其庞大的神经网络模型。与传统的深度学习模型只能处理单一类型的数据不同,多模态大模型可以融合不同类型的数据,提取有用的信息,并将其结合起来,以实现更精准的预测和推理。对于每个输入模态,模型都会首先使用对应的特征提取器来提取数据的特征,然后将这些特征融合在一起,并得到全局表示,用于进行下一步的预测或推理。在融合特征的过程中,模型通常会使用注意力(Attention)机制来加强对某些重要特征的关注度,以进一步提高预测性能。

多模态大模型通常具有数亿到数千亿个参数,需要在海量数据上进行训练,以获得更好的表现。这也使得多模态大模型的训练和部署成本较高,需要丰富的计算资源和有力的技术支持。

多模态大模型在许多领域都有广泛的应用。例如,在自然语言处理领域,可以利用多模态大模型完成视觉问答、图像描述生成等任务;在计算机视觉领域,可以利用多模态大模型完成视频分类、图像检索等任务;在医学影像领域,可以利用多模态大模型完成诊断和治疗等任务。

正如斯坦福大学基础模型研究中心发布的论文“On the Opportunities and Risks of Foundation Models”[1]所述,随着BERT、GPT、CLIP[2]和DALL-E[3]等在大规模数据上训练的模型的兴起,人工智能正经历范式转变,这些模型能够适应众多下游任务。这些模型通常被称为基础模型,以凸显它们的核心特征:跨领域方法的同质化和新能力的出现。从技术角度来看,基础模型的出现得益于迁移学习。基础模型的发展最初集中在自然语言处理领域,比如BERT、GPT等,然后扩展到计算机视觉和其他领域。在自然语言处理领域,在2018年末推出的BERT标志着基础模型时代的开启。BERT的成功迅速引起了计算机视觉领域对自监督学习的关注,催生了诸如SimCLR[4]、MoCo[5]、BEiT[6]和MAE[7]等模型。与此同时,预训练的成功也吸引了视觉与语言多模态领域前所未有的关注。根据多模态基础模型的功能和通用性,多模态基础模型旨在解决3个代表性问题:构建视觉理解模型、构建视觉生成模型,以及实现通用接口。

1.构建视觉理解模型

学习通用的视觉表征对于构建视觉基础模型至关重要,因为预训练一个强大的视觉骨干模型[3]是所有计算机视觉下游任务的基础,包括图像级别的任务(例如图像分类、检索和描述生成)、区域级别的任务(例如检测和定位)、像素级别的任务(例如分割)。

[3] 骨干模型指预训练好的、作为基础核心的大型神经网络模型。

2.构建视觉生成模型

大规模的图像、文本数据是构建视觉生成模型的基础,构建时应用的关键技术包括向量量化变分自编码器方法[8]、扩散模型[9]和自回归模型。

3.实现通用接口

前文提到的多模态基础模型是为特定目的设计的,用于解决一组特定的计算机视觉问题或任务。基于通用接口的通用模型为人工智能智能体(AI Agent)的发展奠定了基础。现有的努力集中在如何构建和利用这种通用接口解决上述3个研究问题。第一个问题旨在统一视觉理解和生成模型,这些模型采用了类似LLM的统一接口理念,但在建模中并没有直接利用预训练的LLM。相比之下,另外两个问题则直接将LLM视作通用接口的核心,在建模中包含LLM,包括通过训练对齐或与LLM进行链接。

1.2 新一代人工智能如何迈向AGI

ChatGPT的问世改变了人们对人工智能的看法。人们在使用中验证了人工智能能够执行多种需要常识甚至专业知识的任务,如聊天、撰写文章和编写代码等。ChatGPT的影响力可与AlphaGo媲美,它将人工智能的发展方向引向AGI。在此之前,AGI一直被认为是遥不可及的目标——之前的人工智能都属于弱人工智能(Narrow AI),即每个人工智能只能执行一种任务,且缺乏常识。然而,ChatGPT改变了这一现状,在实现AGI的道路上迈出了一大步。未来,AGI的发展方向是一个值得深入探讨的话题。因此,下面将首先分析被认为是AGI可能路径的LLM所面临的一些挑战,然后提出一些可能的技术路线,希望对AGI研究提供有益的启示。

在过去的几年里,随着语料库规模和硬件能力的快速增长,遵循扩展定律[10],扩大模型和训练数据的规模可以不断提高模型性能,最终形成了LLM。在大规模语料库上预训练的LLM(例如BERT[11]、RoBERTa[12]和T5[13])在多种自然语言处理任务中表现出色,例如问答[14]、机器翻译[15]和文本生成[16]。规模的大幅增加使LLM具备涌现能力[17],为使用LLM实现AGI带来了希望。像GPT和PaLM这样的先进LLM拥有数十亿个参数,在许多领域中表现出巨大的应用潜力,例如具身智能[18]、代码生成[19]、教育[20]和推荐[21]

尽管在许多应用中取得成功,但LLM因为违背事实和缺乏知识而受到批评。具体来说,LLM基于训练语料库中包含的事实和知识构建。然而,进一步的研究表明,LLM常常无法回忆起这些事实和知识,并且经常会产生与它们不符的陈述——“幻觉”。例如,当被问到“爱因斯坦在什么时候发现了重力”时,LLM可能会回答“爱因斯坦在1687年发现了重力”,这与艾萨克•牛顿提出万有引力定律的事实相矛盾。幻觉问题严重损害了LLM的可信度。作为黑盒模型,LLM还因缺乏可解释性而受到批评。LLM以隐式方式将知识表示为参数,很难解释或验证LLM获得的知识。此外,LLM通过概率模型进行推理,这是一个不确定的过程。LLM用于做出预测或决策的具体模式和功能无法直接为人类所获取或解释。即使通过应用思维链来解释,也难以消除幻觉的影响。这严重损害了LLM在高风险场景中的应用,例如在医疗诊断场景中,LLM可能会错误地诊断疾病,并提供与医学常识相矛盾的解释。这引发了另一个问题,即在通用语料库上训练的LLM可能无法很好地泛化到特定领域或新知识场景,因为缺乏领域特定的知识或新的训练数据[22]

基于LLM的多模态大模型能够避免从零开始训练,这是迈向AGI的重要技术进展之一。LLM在理解和生成类人文本方面显著优于小型模型,因此成为前景广阔的人工智能研究方向。LLM通过高效文献分析、新假设生成和复杂数据解释在自然科学和社会科学领域进行创新,加速研究、增强发现过程,促进跨学科合作。目前,由于LLM的特性,如大规模参数、大量训练数据和高计算复杂性,其发展仍然面临许多技术挑战。

1.2.1 领域专业化不足

尽管LLM具有作为通用任务解决器的巨大潜力,但要有效地扩展LLM的功能,超越简单的“聊天机器人”角色,还面临着重大挑战,这一困境推动了“LLM领域专业化”的趋势。具体而言,LLM领域专业化被定义为根据特定领域的上下文数据对LLM进行定制化的过程,即辅以领域特定的知识,优化领域的目标,并受到领域特定的约束的调控。LLM领域专业化是由以下几个原因驱动的。首先,不同领域(如医疗处方、法律文书、在线聊天等)在对话和语言风格上存在着显著的差异。获得领域中的能力和经验需要经过多年的培训,甚至需要进行实际操作。其次,在不同的领域中,机构和团队都根据能最大化其任务效用的响应模式建立了自己的“商业模型”,难以直接由单一通用LLM替代。更重要的是,专业级别的应用需要深入、实时和准确的领域知识,而许多领域知识是专有资源,是组织的核心竞争力,绝不会泄露给通用LLM。最后,语言使用受社会规范、文化背景、宗教信仰、法律要求和伦理实践的限制,所有因素都对应不断变化的参数,这使得通用LLM难以在未经定制的情况下成为“一刀切”的解决方案。

LLM领域专业化是一个重要但具有挑战性的问题,需要发明和整合有效的技术来解决,面临以下3个挑战。

(1)难以保证知识的时效性。LLM的强大主要归功于它们庞大的训练语料库。然而,这也意味着LLM往往有知识期限,缺乏对最新信息、事件或发现的充分掌握。在许多专业领域,新的发现、法规和最佳实践不断涌现,使得LLM难以跟上领域知识的更新节奏。例如,全球主流媒体每天会发布超过3万篇主流新闻文章。对于社交媒体分析和事实核查等任务,LLM可能无法处理,因为从训练语料库中提取的知识是离线的。这表明需要定期重新训练或引人持续学习机制,以维护LLM在动态领域的相关性和准确性。然而,维持知识的新鲜度可能需要大量资源,因为既需要进行高质量、新数据的持续收集、处理,也需要对计算密集型模型进行重新训练。

(2)难以在一个LLM中集成不同领域的专业知识。LLM具有跨领域的通用知识,也具有大多数领域的特定知识。然而,LLM通常会低估非领域特定的主题,这使其在特定领域的任务中表现不佳。此外,特定领域的任务通常涉及复杂的概念、专业术语和实体之间复杂的关系。在缺乏适当的指导时,LLM可能会对类似的查询或以不同方式表述的问题生成看似合理但不一致的答案。这是因为LLM基于输人来预测最可能的单词序列(输出),而不是基于结构化知识库提供确定性答案。研究人员发现,用户可以提供少量的演示来指导模型生成更相关、更准确和适配特定任务的响应,从而提高LLM在众多领域中的应用效果。然而,为LLM提供演示并不简单,因为用户的指令通常是模糊、不完整的,这使得LLM难以辨别其意图或期望的结果,并且LLM倾向于使用有限的上下文窗口,通常由其可以处理的最大标记长度(例如早期的ChatGPT只能处理4097个标记)决定。

(3)下游任务学习的高复杂性。为了更好地适应特定领域的应用,下游任务学习一直是语言模型专业化的常见实践。然而,与传统语言模型不同,LLM的下游任务学习需要大量高质量的特定数据。获取、清理和预处理这些数据往往是耗时和资源密集的。此外,LLM的复杂性使得最合适的下游任务学习策略难以确定,因为超参数、学习率和训练时长的选择会显著影响模型的性能。LLM通常包含数百亿个参数(例如GPT-3[23]和PaLM[24]均含有超过1000亿个参数),需要大量的算力来训练。微调或重训练LLM需要使用高性能的图形处理单元(Graphics Processing Unit,GPU)或专用硬件[如张量处理单元(Tensor Processing Unit,TPU)],它们的成本高昂,尤其是对于个体研究人员或较小的组织而言。

1.2.2 鲁棒性威胁

随着多模态大模型应用的不断普及,对其潜在风险进行评估变得迫在眉睫。已有的研究大多探讨多模态大模型在法律、伦理、教育等领域的风险,但本书认为有必要重点关注其鲁棒性,因为这一点尚未得到全面评估。鲁棒性指的是模型抵御干扰或外部因素的能力,这些因素可能导致模型出现故障或提供不准确的结果。在实际应用中,特别是在关键安全场景中,这一点至关重要。例如,如果将多模态大模型或其他基础模型用于假新闻检测,恶意用户可能会向内容中添加噪声或特定扰动,以绕过检测系统。如果缺乏鲁棒性,系统的可靠性将受到威胁。

鲁棒性威胁存在于多种情境,如分布外(Out-Of-Distribution,OOD)的样本、对抗性输入、长尾样本、嘈杂输入等。本节将重点关注两种常见的鲁棒性威胁——对抗鲁棒性威胁和OOD鲁棒性威胁,它们都是由输入扰动引起的。具体而言,对抗鲁棒性威胁研究的是模型对于对抗性和不可察觉扰动的稳定性,例如向图像中添加训练噪声或更改文本的某些关键词。OOD鲁棒性威胁衡量模型在与训练数据分布不同的未见数据上的性能,例如使用为艺术绘画训练的模型对涂鸦进行分类或使用为电器评论训练的模型分析酒店评论。

1.对抗鲁棒性威胁

处理对抗性输人对大模型而言是一个具有挑战性的任务。尽管像GPT这样的大模型已经被广泛应用,但其对抗性方面的脆弱性仍然是下游应用的主要威胁,尤其是在那些关键的安全场景中。另外,由于对抗性输入是由人类主观生成的,并不存在于自然界中,因此可以认为基础模型在训练过程中可能永远无法涵盖所有可能的对抗性输入分布。除了错误校正,一个可能的解决方案是首先将对抗性输入注入训练数据,这可以提高模型对现有对抗性输入的鲁棒性。然后,为了实现改进模型对抗鲁棒性的长期目标,需要对预训练模型进行持续训练,以适应人类生成或算法生成的对抗性输人。

对无法训练大模型,只在下游任务中使用它们的人来说,由于大模型留存了预训练模型的缺陷,这种威胁仍然存在。在这种情况下,如何在确保减少继承缺陷的同时通过微调实现对下游任务的适配仍然是一个挑战。随着基础模型变得越来越大,微调它们超出了大多数研究人员的能力范围,通过微调来减少缺陷会变得非常困难。对模型所有者和下游用户来说,如何抵御对抗性攻击是一个非常具有挑战性的问题。除了训练数据,Prompt也可能受到攻击,这需要进一步的知识和算法来处理。由于大型语言模型对Prompt的敏感性,这是目前一个具有挑战性的问题。

2.OOD鲁棒性威胁

像ChatGPT这样的大模型,在优质Prompt的辅助下,展现了在OOD数据集上取得卓越性能的潜力。这引出了一个值得思考的问题:这些大模型是否已经解决了OOD泛化问题?庞大的训练数据和参数是“双刃剑”:它们可能导致过拟合,也可能促进泛化。直观地看,OOD数据在训练过程中是不可见的,所以将其添加到训练集中就可以让模型在训练过程中正确处理它,且不影响测试性能,这正是这些大模型所做的。然而,“数据的不合理有效性”是否真实存在尚未明确。此外,随着模型规模的不断扩大,LLM何时以及为什么会发生过拟合仍然是未知的。

除了在训练数据集中添加OOD数据,另一个可能的原因是ChatGPT的训练集实际上涵盖了与测试集相似的分布,即使它们是在2021年之后收集的。例如,Flipkart用于产品评论,DDXPlus用于医学诊断,这些数据集实际上都来源于互联网上广泛存在的常见领域。因此,这些测试集对上述相应模型可能不算是OOD数据集,而这可能导致过拟合。为了进行更公平的评估,需要使用长尾样本的新数据集。最后,相关分析并未表明分布内-分布外(In-Distribution-OOD,ID-OOD)性能总是呈正相关,有时甚至可能呈负相关。因此,需要开发正则化和其他技术来提高模型的OOD鲁棒性。

3.其他领域

对抗鲁棒性威胁和OOD鲁棒性威胁不仅存在于自然语言处理领域,还存在于其他领域。实际上,大多数相关研究来自机器学习领域和计算机视觉领域。在计算机视觉领域,研究人员可能会思考:是否可以通过训练一个视觉基础模型来解决图像数据中的对抗鲁棒性威胁和OOD鲁棒性威胁?例如,ViT-22B[25]通过在JFT数据集(扩充至约40亿张图像)上训练,将视觉Transformer架构[26]的参数规模扩展到220亿个,从而成为大型视觉基础模型,并在不同的图像分类任务上展现卓越性能。然而,它在参数增加时并没有展现涌现能力。

理论、算法和优化领域是人工智能的基础研究领域。大型基础模型是否能够推动这些领域的发展呢?首先,基础模型的成功依赖这些领域的突破,例如,大多数LLM采用了Transformer架构[27]等先进的网络架构。其次,基础模型的成功为这些领域提供了启示:是否可以通过开发新的理论、算法和优化方法来解决像对抗鲁棒性威胁和OOD鲁棒性威胁这样的问题?这样的研究可以为基础模型提供有价值的贡献,例如,提高数据和训练的效率。最后,这些领域的研究人员不应感到气馁,因为科学研究的进展应该是多样化的,不应局限于计算资源密集的研究。

1.3 量子计算与人工智能

近年来,以LLM和多模态大模型为代表的新一代人工智能技术迅速崛起,并在众多领域得到广泛应用。然而,随着数据规模的爆炸式增长,大模型对计算和存储资源的需求也急剧增加。传统的计算体系通过扩充服务器数量来实现计算与存储能力的线性增长,已难以满足大模型训练的需求,这严重制约了大数据知识挖掘的效果与智能决策水平的提升。因此,迫切需要研究新型、超高效率的计算架构,以适应数据海量化及信息处理智能化的新形势和新需求。

1.3.1 量子计算与经典计算的区别

量子计算是一种基于量子力学原理的新型计算模式。量子计算与经典计算在多个方面存在显著的区别,具体如下。

(1)物理原理:经典计算使用比特(Bit)作为计算的基本单元,采用逻辑门来对比特进行操作,是基于经典物理学原理的计算方式。量子计算使用量子比特 (Qubit)作为计算的基本单元,每个量子比特都可以处于0和1的叠加态,并利用量子叠加和量子纠缠等量子特性进行计算,是一种基于量子力学原理的计算方式。

(2)计算速度:经典计算按顺序执行每个操作。量子计算具有内在的并行性,可以在一次操作中处理多种可能的结果,从而在某些情况下加速计算,对搜索和优化问题具有潜在的加速优势。目前已知的具有量子计算加速求解优势的问题比较有限,大部分情况下仍然需要经典计算。同时,量子计算技术还处于早期阶段,实现可扩展的大规模量子计算仍然存在挑战。

(3)错误率:经典计算的错误率通常很低,因为比特的状态相对稳定。在量子计算中,由于量子比特容易受到噪声和干扰的影响,因此错误率较高,需要采用量子纠错技术来保护量子信息。

(4)适用范围:经典计算在解决一般的计算问题上已经得到广泛应用。量子计算擅长解决一些经典计算中难以解决的复杂问题,例如因子分解、优化问题和搜索问题等。量子计算擅长解决的问题具有何种结构或属性仍然没有确定的答案,量子计算加速求解的能力边界还有待进一步探索。

总的来说,量子计算与经典计算在物理原理、计算速度、错误率和适用范围等方面存在显著的区别。量子计算作为一种新型计算模式,具有加速处理复杂问题的潜力,尤其在处理大规模数据和优化问题上具有优势。

1.3.2 量子计算与人工智能的关系

作为当前信息技术领域的两大前沿方向,量子计算与人工智能之间存在着紧密且双向赋能的共生关系:一方面,量子计算的强大算力为人工智能的发展提供新的物理基础;另一方面,人工智能的算法优势能反哺量子计算机的研发与优化。具体而言,二者的相互作用关系主要体现在以下两个方面。

(1)量子计算为人工智能提供更强的算力:利用量子叠加和量子纠缠等特性,量子计算能够容纳更多的信息并进行并行计算。这为人工智能算法的运行提供了更强大的计算能力,可以加速模型训练、优化搜索算法和解决复杂问题,进而加速人工智能技术的发展。

(2)人工智能助力量子计算机的研制:人工智能技术可以应用于量子计算机的软硬件方案设计、量子算法优化等,通过分析和学习数据,提高量子计算各环节的效率和准确性。例如,人工智能可以帮助量子计算机发现更优的量子门序列,减少计算误差和资源消耗。

1.3.3 量子计算与人工智能协作的未来展望

量子计算与人工智能的协作将在未来科技发展中扮演重要角色,并为人类带来前所未有的机遇和挑战。具体来说,量子计算可以在以下几个方面与多模态大模型等人工智能技术实现协同创新。

(1)加速训练过程:量子计算的并行性和高效性可以加速模型的训练过程,特别是针对大规模数据的训练过程,能够加快模型的收敛速度,更快地找到合适的参数。

(2)优化模型结构:量子计算可以用于搜索和优化多模态大模型的结构和超参数,以提高模型的性能和效率。

(3)处理复杂问题:量子计算的特性使其在处理复杂的推理和优化问题上具有优势,可以为多模态大模型提供更强大的推理能力。

(4)保护数据隐私:量子计算的密码学特性可以用于保护多模态大模型的数据隐私,在数据共享和联合学习等场景下发挥重要作用。随着量子计算机计算能力的增强,传统加密算法将面临被破解的威胁,而量子密码学作为一种新的加密方式将受到更多关注和应用。量子计算与人工智能的协作有望在数据隐私保护和安全通信等领域发挥关键作用。

(5)量子人工智能的兴起:随着量子计算和人工智能的深度融合,量子人工智能作为一个新兴领域将逐渐展现其潜力。量子人工智能将探索结合量子计算能力和人工智能算法的应用(例如优化量子算法、构建量子神经网络等),推动人工智能技术应用于更广泛的领域。

(6)科学与技术领域的突破:量子计算与人工智能的协作将推动科学与技术领域的突破。从材料研制到药物研发,从天体物理学到量子化学,量子计算和人工智能的结合将为更多领域带来新的认知和发现。

1.4 量子计算简介

量子计算作为一种面向未来的颠覆性计算技术受到各界的广泛关注。全球范围内的高校、研究机构及公司等都在量子计算领域投人了巨大的人力、物力和财力。同时,也要清楚地认识到,量子计算要落地,还需要在理论和实验等方面做出大量的努力。总体来看,量子计算领域的研究主要围绕两个核心问题展开。一是如何将量子计算系统扩展到足以解决实际问题的规模。这是有关量子计算硬件的问题,只有制造出足够稳定且具有一定规模的量子硬件,量子计算才有可行的物理载体。二是如何在科学与工业领域中最大程度地利用量子计算的强大算力。解决该问题的关键在于能否针对实际问题设计出高效的量子算法。当前量子计算领域的研究现状可以简单概括为:量子计算硬件多条技术路线齐头并进,尚未形成收敛趋势;量子算法基础理论成果相对偏少,量子计算能力边界有待拓展。

量子计算具有很强的学科交叉性,需要物理、数学、计算机等多学科合作。2018年,姚期智先生在接受《国家科学评论》专访时指出,量子计算是一个典型的跨学科领域,需要相关领域的科学家与工程师密切合作,尤其是量子物理学家与计算机科学家之间的合作。算法的突破将激发硬件的改进,反之亦然。近几年,量子计算领域的快速发展更加印证了以上观点。从量子计算的发展历程可以看出,正是舒尔算法(Shor's Algorithm,本书简称Shor算法)等算法的提出激起了学术界对量子计算的研究热情。不夸张地说,量子算法是推动量子计算向前发展的不可取代的力量源泉。另外,近年来量子硬件研发进展喜人,使得人们更加相信量子计算机在物理实现上的可行性,进而吸引了更多人从事拓展量子计算高效求解能力边界的量子算法的相关研究。

本节首先简单回顾量子计算的发展历程,然后介绍量子力学的4条基本假设,最后介绍量子计算的基础知识。

1.4.1 量子计算的发展历程

在回顾量子计算的发展历程之前,本小节先简述可逆计算。在经典计算中的信息处理过程是通过逻辑门来实现的。这些逻辑门可能是不可逆的。比如逻辑“与”门就是不可逆的,因为它把两位输入比特变为一位输出比特,所以无法通过输出比特确定输入比特。而逻辑“非”门是可逆的,因为它可以通过输出比特来确定输入比特。我们可以从信息擦除的角度来理解不可逆与可逆。如果一个逻辑门是不可逆的,则在执行它时会擦除信息。比如逻辑“与”门把两位输入比特变成一位输出比特,擦除了一位信息。相反地,如果一个逻辑门是可逆的,则在执行它时不会擦除信息,比如逻辑“非”门。之所以讨论可逆计算,是因为它与计算的能耗问题紧密相关。1961年,IBM的科学家Landauer[28]在可逆计算方面得到了较为明确的结论,即Landauer原理。该原理的核心内容是,若计算机擦除一比特的信息,则散发到环境中的能量至少是,其中是玻尔兹曼常数,是环境温度。Landauer原理表明不可逆计算会引起能耗,并给出了能耗下限。Landauer原理的提出激起了人们研究可逆计算的热情。1973年,IBM的科学家Bennett[29]在可逆计算方面取得了重要进展,他证明任意一个经典图灵机都可以用一个可逆图灵机来有效地模拟。换句话说,经典计算在理论上是可以以可逆方式进行的,且不影响计算能力。可逆计算是量子计算的特殊形式。此外,量子计算还具有更多的特性可以被利用,因此具有超越经典计算的可能性。

接下来介绍量子计算的发展历程。1980年,Benioff[30]研究了基于量子力学的计算设备,证明基于量子力学的计算设备可以模拟经典计算机。1981年,Feyn- man[31]勾勒出以量子现象实现计算的愿景,他指出经典计算机不能有效模拟量子力学系统,而基于量子力学规律的计算机才可能实现上述模拟[4]。1985年,Deutsch[32]提出量子图灵机,至此,量子计算具备了基本的数学模型。然而,量子图灵机只是一个抽象的数学模型,要将它具体化,可类比经典计算机基于逻辑电路的实现方式,将量子计算机的实现归结为设计并构建由量子逻辑门组成的量子电路。关于量子图灵机与量子电路关系的一个重要结论是由姚期智先生在1993年提出的[33],他证明量子图灵机与量子电路是等价的,即任意在量子图灵机上可以多项式时间计算的函数,都有一条多项式规模的量子电路;任意一个由多项式规模量子电路计算的函数,都可以被量子图灵机在多项式时间内计算。由此,量子计算的理论与实验研究可以基于量子电路展开。

[4] Feynman在1981年的一次演讲中就提出了这些内容,而将它们发表在学术期刊的时间是1982年。

上述工作为量子计算理论的发展奠定了重要基础,但是真正把量子计算引人大众视野、掀起研究热潮的是Shor算法的提出。该算法是在1994年由Shor[34]提出的,能够在多项式时间内解决大数因子的分解问题。由于最优的经典分解算法是超多项式时间的,因此该算法被认为是对经典算法的指数级加速。Shor算法的提出使得经典密钥系统受到了巨大威胁,同时激起了人们对量子计算的兴趣。1996年,Grover[35]进一步提出了在无序数据库中寻找特定目标的量子搜索算法 [格罗弗算法(Grover's Algorithm,本书简称Grover算法)],该算法相较于经典算法具有二次方加速的优势。虽然Grover算法的加速效果远不如Shor算法,但是由于它所针对的问题在现实生活中具有广泛的应用场景,因此它在量子计算的发展史上也具有十分重要的地位。

Shor算法等量子算法所展现的强大威力激起了实验物理学家研制量子计算机的热情。近年来,量子计算物理实验进展喜人,从谷歌的Willow量子计算芯片,到我国的“九章”系列光量子计算原型机和“祖冲之”系列超导量子计算原型机,都反映了量子计算实验技术的快速发展。这些实验进展增强了人们对实现量子计算机的信心。同时,也要清晰地认识到,如果把实用化量子计算机的成功研制看成登顶珠穆朗玛峰,当前国际上各研发团队或许都还在山脚。在攀登高峰的过程中,每一位参与者都有机会留下自己的印记。

1.4.2 量子力学的基本假设

量子计算是遵循量子力学规律、利用量子特性进行计算的过程。量子力学可用以下4条基本假设进行描述。

(1)状态空间假设:任意一个孤立的量子系统都与一个希尔伯特空间称为该系统的状态空间)相关联,系统的状态可由状态空间中的一个单位向量来描述。

(2)状态演化假设:一个封闭量子系统的演化可由一个酉变换来描述。也就是说,假设在时刻该系统所处的状态为,在时刻该系统所处的状态为,那么这两个时刻分别对应的系统状态可以用一个酉变换关联:

(3)量子测量假设:量子测量可由一组测量算子描述。这些测量算子作用在系统的状态空间上,其中下标表示可能的测量结果。如果测量前系统所处的状态为,那么测量得到的概率为

测量后系统的状态变为

注意,测量算子要满足完备性条件:

该条件确保所有测量结果的概率之和为1。

(4)复合量子系统假设:复合量子系统的状态空间可由各子系统状态空间的张量积(Tensor Product)表示。如果子系统的编号为1到,且子系统的状态为,则复合系统的状态是

1.4.3 量子计算的基础知识

本小节介绍量子计算的基础知识,主要包括数学符号与概念、量子态、量子门以及量子测量等部分。

1.数学符号与概念

表1.1列出了本书用到的一些重要的数学符号与概念。

表1.1 重要的数学符号与概念

数学符号与概念

描述

复数的共轭

复数的模

实数域

复数域

复数域上的维向量空间

复数域上所有大小为的矩阵组成的集合

复数域上所有大小为的厄米矩阵组成的集合

上所有线性算子组成的集合

列向量

列向量的共轭转置

向量之间的内积

的张量积

张量积的简写形式

矩阵的共轭转置

矩阵的转置

矩阵的共轭转置,

向量之间的内积

矩阵的迹

BQP

有界误差量子多项式时间(Bounded-Error Quantum Polynomial,BQP),用于描述所有能被量子计算机在多项式时间内以有界误差计算的判定问题所构成的复杂性类别

BQP-完全问题

如果一个判定问题L满足L∈BQP,且BQP中的所有问题都能在多项式时间内规约到L,则称L是一个BQP-完全问题

2.量子态

在经典计算机中,信息的基本存储单元称为比特;而在量子计算机中,信息的基本存储单元称为量子比特。根据量子力学原理,单个量子比特的状态(简称为态)可用一个二维列向量表示

其中,要求,相当于要求这个向量是单位向量。例如,如下几个态都是单量子比特态:

单量子比特态中的两个分量称为振幅(Amplitude)。振幅的模的平方表示测量该量子态得到相应结果的概率。具体而言,如果测量单量子比特,将以的概率得到结果0,以的概率得到结果保证了两个事件发生的概率和为1。值得注意的是,尽管概率必须是介于0和1之间的某个实数,但振幅可以是正数、0或负数,也可以是一般的复数。

量子计算中常用的符号是狄拉克(Dirac)符号,它具有简洁、方便的特点。在这种符号中,一个量子态用记号表示,其中.可以是任何符号,例如等。有些符号被赋予了特定含义,如

任意一个量子比特的状态可以表示为

从代数的角度来说,位于二维复线性空间中。构成了的一组标准正交基,称为计算基(Computational Basis)。例如

接下来介绍多量子比特(主要以两个量子比特为例进行说明,量子比特数更多时的情形是类似的)。两个量子比特的状态可用中的四维单位列向量表示

“单位列向量”要求。对这两个量子比特做测量时,测量结果为和11的概率分别是

为了介绍单量子比特与多量子比特之间的关系,需要引入张量积的概念。对任意一个大小为的矩阵和一个大小为的矩阵之间的张量积定义为

其中,分块矩阵表示与矩阵做数量乘法运算,。因此的结果是一个的矩阵。张量积运算满足结合律、分配律,但不满足交换律:

其中,的大小需使矩阵乘法运算有意义。此外,对任意标量和任意矩阵,有

设两个量子比特的状态分别为

则由它们构成的整体的状态可用张量积运算表示为

其中,可简写为,在不致混淆的情况下还可进一步简写为,如

构成的一组标准正交基也称为计算基。它们分别对应00、01、10、11共4种经典状态。基于上述内容,也可看作由两个做张量积运算生成,可记作

形如

这样的量子态无法分解为张量积形式,称为纠缠态(Entangled State)。可以分解为张量积形式的量子态称为可分态(Separable State)。以下是常见的纠缠态:

这4个态统称为Bell态,也称为EPR[5]态或EPR对。它们同样构成的一组标准正交基,称为Bell基。

[5] EPR是阿尔伯特·爱因斯坦(Albert Einstein)、鲍里斯·波多尔斯基(Boris Podolsky)、内森·罗森(Nathan Rosen)3位物理学家姓氏首字母的组合。

如果两个量子比特的状态是纠缠态,则单量子比特的状态就无法用一个二维列向量表示。这样的状态需要用密度矩阵(Density Matrix)来表示。如果一个复矩阵能表示为

的形式(其中维单位向量,),则称是一个密度矩阵。如果密度矩阵,那么表示的是一个纯态(Pure State),其对应的列向量表示为;否则,表示的是一个混态(Mixed State)。

3.量子门

类似于经典计算中使用逻辑门来描述运算过程,量子计算通过量子门来刻画各种运算操作。在物理层面上,量子门对应量子态的演化。在数学层面上,量子门对应酉变换。酉变换是可逆的,其逆等于其共轭转置,即对任意一个酉矩阵,有

根据作用的量子比特数,量子门可分为单量子比特门和多量子比特门。

单量子比特门作用在单个量子比特上,可由一个的酉矩阵表示。常见的单量子比特门有

对于涉及两个或多个量子比特的系统,则需使用多量子比特门。多量子比特门的一个重要类别是受控量子门,它们的操作依赖一个或多个控制量子比特的状态,并据此对目标量子比特施加操作。一个典型例子是受控非门(Controlled-NOT Gate,CNOT门),其作用规则如下。

当控制量子比特的状态为时,对目标量子比特施加(非门)操作;

当控制量子比特的状态为时,不对目标比特进行任何操作。

整个过程可以描述为

CNOT门的矩阵表示为

另一个典型例子是交换门(Swap Gate,SWAP门),其功能是交换两个量子比特的状态,即

SWAP门的矩阵表示为

4.量子测量

量子信息存储于量子态中,要提取信息需执行量子测量操作。测量需与量子系统进行交互,这会引入环境对系统的干扰,使原本封闭的系统变为开放系统,导致量子态的塌缩。因此,测量是不可逆的操作,不属于酉变换。

量子测量的一般定义已在前面介绍量子力学的基本假设时给出。下面介绍一种特殊且常见的量子测量方式——投影测量(Projective Measurement)。投影测量通过一个可观测量(即作用在系统态空间上的厄米算子)来描述。设的谱分解为

其中,是投影到的特征值所对应的特征空间的投影算子,它满足

所有的特征值构成测量操作的所有可能输出结果。若对量子态执行该可观测量的测量,则得到结果的概率为

一旦测量结果被观测到,系统的状态将立即塌缩为对应特征空间中的向量,得到新的量子态为

为一组标准正交基。对量子态在该基上进行测量,即执行投影测量,其对应的投影算子为

例如,对量子态

在计算基上进行测量,对应的投影算子为。一个可能的可观测量为泡利算子:

对量子态执行该测量时,

(1)测得(对应特征值 +1)的概率为

(2)测得(对应特征值 -1)的概率为

参考文献

[1] BOMMASANI R, HUDSON D A, ADELI E, et al. On the opportunities and risks of foundation models[EB/OL]. arXiv Preprint. arXiv:2108. 07258. (2022-07-12)[2025-10-20].

[2] RADFORD A, KIM J W, HALLACY C, et al. Learning transferable visual models from natural language supervision[C]//Proceedings of the International Conference on Machine Learning. MA: JMLR, 2021: 8748-8763.

[3] RAMESH A, PAVLOV M, GOH G, et al. Zero-shot text-to-image genera- tion[C]//Proceedings of the International Conference on Machine Learning. MA: JMLR, 2021: 8821-8831.

[4] CHEN T, KORNBLITH S, NOROUZI M, et al. A simple framework for contrastive learning of visual representations[C]//Proceedings of the International Conference on Machine Learning. MA: JMLR, 2020: 1597-1607.

[5] HE K, FAN H, WU Y, et al. Momentum contrast for unsupervised visual representa- tion learning[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, USA. NJ: IEEE, 2020: 9729-9738.

[6] BAO H, DONG L, PIAO S, et al. BEiT: BERT pre-training of image transform- ers[C]//Proceedings of the International Conference on Learning Representations. WI: ICLR, 2021.

[7] HE K, CHEN X, XIE S, et al. Masked autoencoders are scalable vision learn- ers[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, New Orleans, USA. NJ: IEEE, 2022: 16000-16009.

[8] RAZAVI A, VAN DEN OORD A, VINYALS O. Generating diverse high-fidelity im- ages with VQ-VAE-2[C]//Proceedings of the 33rd International Conference on Neural Information Processing Systems, Vancouver, Canada. NJ: IEEE, 2019, 32.

[9] DHARIWAL P, NICHOL A. Diffusion models beat GANs on image synthe- sis[C]//Proceedings of the 35th Annual Conference on Neural Information Processing Systems. NJ: IEEE, 2021(34): 8780-8794.

[10] KAPLAN J, MCCANDLISH S, HENIGHAN T, et al. Scaling laws for neural language models[EB/OL]. arXiv Preprint. arXiv: 2001. 08361. (2020-01-23)[2025-10-20].

[11] DEVLIN J, CHANG M W, LEE K, et al. BERT: pre-training of deep bidirectional transformers for language understanding[EB/OL]. arXiv Preprint. arXiv: 1810. 04805. (2019-05-24)[2025-10-20].

[12] LIU Y, OTT M, GOYAL N, et al. Roberta: a robustly optimized BERT pretraining approach[EB/OL]. arXiv Preprint. arXiv: 1907. 11692. (2019-07-26)[2025-10-20].

[13] RAFFEL C, SHAZEER N, ROBERTS A, et al. Exploring the limits of transfer learning with a unified text-to-text transformer[J]. Journal of Machine Learning Research, 2020, 21(1): 5485-5551.

[14] SU D, XU Y, WINATA G I, et al. Generalizing question answering system with pre- trained language model fine-tuning[C]//Proceedings of the 2nd Workshop on Machine Reading for Question Answering, Hong Kong, China. PA: ACL. 2019: 203-211.

[15] LEWIS M, LIU Y, GOYAL N, et al. BART: denoising sequence-to-sequence pre- training for natural language generation, translation, and comprehension[EB/OL]. arXiv Preprint. arXiv: 1910. 13461. (2019-08-29)[2025-10-20].

[16] LI J, TANG T, ZHAO W X, et al. Pretrained language models for text generation: a survey[EB/OL]. arXiv Preprint. arXiv: 2201. 05273. (2022-05-13)[2025-10-20].

[17] WEI J, TAY Y, BOMMASANI R, et al. Emergent abilities of large language mod- els[EB/OL]. arXiv Preprint. arXiv: 2206. 07682. (2022-06-15)[2025-10-20].

[18] DRIESS D, XIA F, SAJJADI M S, et al. PaLM-E: an embodied multimodal language model[EB/OL]. arXiv Preprint. arXiv: 2303. 03378. (2023-03-06)[2025-10-20].

[19] LI Z, WANG C, LIU Z, et al. CCTEST: testing and repairing code completion sys- tems[C]//Proceedings of the IEEE/ACM 45th International Conference on Software Engineering, Melbourne, Australia. NJ: IEEE. 2023: 1238-1250.

[20] MALINKA K, PERESÍNI M, FIRC A, et al. On the educational impact of ChatGPT: is artificial intelligence ready to obtain a university degree?[C]//Proceedings of the 2023 Conference on Innovation and Technology in Computer Science Education, Turku Finland. NY: ACM. 2023, (1): 47-53.

[21] LIU J, LIU C, LV R, et al. Is ChatGPT a good recommender?a preliminary study[EB/OL]. arXiv Preprint. arXiv: 2304. 10149. (2023-10-27)[2025-10-20].

[22] WANG J, HU X, HOU W, et al. On the robustness of ChatGPT: an adversarial and out-of-distribution perspective[EB/OL]. arXiv Preprint. arXiv: 2302. 12095. (2023-08- 29)[2025-10-20].

[23] BROWN T, MANN B, RYDER N, et al. Language models are few-shot learn- ers[C]//Proceedings of the 34th International Conference on Neural Information Pro- cessing Systems, Vancouver, Canada. NJ: IEEE. 2020, 33: 1877-1901.

[24] CHOWDHERY A, NARANG S, DEVLIN J, et al. Palm: scaling language modeling with pathways[J]. Journal of Machine Learning Research, 2023, 24(1): 11324-11436.

[25] DEHGHANI M, DJOLONGA J, MUSTAFA B, et al. Scaling vision transformers to 22 billion parameters[C]//Proceedings of the International Conference on Machine Learn- ing, Hawaii, USA. MA: JMLR, 2023: 7480-7512.

[26] DOSOVITSKIY A, BEYER L, KOLESNIKOV A, et al. An image is worth words: transformers for image recognition at scale[EB/OL]. arXiv Preprint. arXiv: 2010. 11929. (2021-06-03)[2025-10-20].

[27] VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need[C]//Proceedings of the 31st International Conference on Neural Information Pro- cessing Systems, Long Beach, USA. CA: NeurIPS, 2017: 6000-6010.

[28] LANDAUER R. Irreversibility and heat generation in the computing process[J]. IBM Journal of Research and Development, 1961, 5(3): 183-191.

[29] BENNETT C H. Logical reversibility of computation[J]. IBM Journal of Research and Development, 1973, 17(6): 525-532.

[30] BENIOFF P. The computer as a physical system: a microscopic quantum mechanical Hamiltonian model of computers as represented by Turing machines[J]. Journal of Statistical Physics, 1980, 22(5): 563-591.

[31] FEYNMAN R P. Simulating physics with computers[J]. International Journal of The- oretical Physics, 1982, 21: 467-488.

[32] DEUTSCH D. Quantum theory, the Church-Turing principle and the universal quan- tum computer[J]. Proceedings of the Royal Society of London Series A, 1985, 400(1818): 97-117.

[33] YAO A C C. Quantum circuit complexity[C]//Proceedings of the IEEE 34th Annual Foundations of Computer Science, Palo Alto, USA. NJ: IEEE, 1993: 352-361.

[34] SHOR P W. Algorithms for quantum computation: discrete logarithms and factor- ing[C]//Proceedings of the 35th Annual Symposium on Foundations of Computer Sci- ence, Santa Fe, USA. NJ: IEEE, 1994: 124-134.

[35] GROVER L K. A fast quantum mechanical algorithm for database search[C]//Pro- ceedings of the 28th Annual ACM Symposium on Theory of Computing, Philadelphia, USA. NY: ACM, 1996: 212-219.

相关图书

SDD实战:规范驱动开发之道
SDD实战:规范驱动开发之道
Agent Skills开发实战像搭积木一样构建智能体
Agent Skills开发实战像搭积木一样构建智能体
Agent设计模式 图解可复用智能体架构
Agent设计模式 图解可复用智能体架构
Codex快速入门:Harness工程落地
Codex快速入门:Harness工程落地
构建之法——现代软件工程(第四版)
构建之法——现代软件工程(第四版)
AI科研绘图:Nano Banana极速实战指南
AI科研绘图:Nano Banana极速实战指南

相关文章

相关课程