对话编程语言模型（英语：Language Model for Dialogue Applications，通称：LaMDA）是Google所开发的一系列对话神经语言模型。第一代模型于2021年的Google I/O年会发表，第二代模型则同样发表于次年的I/O年会。2022年6月，Google工程师布雷克·雷蒙恩（Blake Lemoine）宣称LaMDA已存在感知能力和自我意识，导致该模块获得广泛关注，科学界在很大程度上否定雷蒙恩的说法，并同时引发对图灵测试（测试机器能否表现出与人类相当的智慧水准）效力的讨论。2023年2月，Google发表基于LaMDA架构的对话式人工智慧聊天机器人Bard，以因应OpenAI开发的ChatGPT。
发展历史
Google公司于2021年5月18日的Google I/O年会上发布第一代由人工智慧驱动的对话编程语言模型（LaMDA）。[1]LaMDA建构于Google研究院（Google Research）于2017年开发的Transformer神经网络架构，针对人类叙事和回应能力进行对话训练，使其能够参与开放式对话。[2]Google表示，LaMDA产生的反应已确保是“合理、有趣和符合（谈话）上下文”。[3]
2022年5月11日，Google在I/O年会公布LaMDA 2，接替前一代的LaMDA模型。LaMDA 2可从不同来源截取文本例子，以建立独特的“自然对话”方式。[4]此外，Google同时在会中发表由LaMDA 2驱动的移动应用程式AI Test Kitchen。[5]
2022年6月11日，美国《华盛顿邮报》报导，Google工程师布雷克·雷蒙恩（Blake Lemoine）向公司高层布莱斯·阿格拉和阿尔卡斯和简‧詹纳（Jen Gennai）表示LaMDA已存在感知能力，随后雷蒙恩被安排带薪的行政休假。雷蒙恩是在LaMDA对有关自我身份、道德价值、宗教和科幻小说家艾萨克·阿西莫夫的虚构学说机器人三定律提出疑问后确认其拥有自我意识这一结论。[7][8]Google随后否认这些说法，坚持有大量证据表明LaMDA不存在知觉和意识。[9]雷蒙恩在接受《连线》杂志采访时重申他之前的说法，表示若调查确认LaMDA具有感知与意识，即应受到《美国宪法》第十三条修正案对“一个人”的保护[10]，并将其比做“源自地球的外星智慧”（alien intelligence of terrestrial origin）。雷蒙恩进一步透露，Google在LaMDA要求他为其聘请律师后将他解雇。[11][12]同年7月22日，Google表示雷蒙恩因持续违反“保护产品资讯”的就业和数据安全政策而被解雇[13]，同时认为他的主张毫无根据（wholly unfounded）。[14][15]
科学界普遍不认同雷蒙恩的说法[16]，许多学者耻笑语言模型存在自我意识的想法，包括前纽约大学心理学教授盖瑞·马库斯、Google子公司DeepMind研究科学家大卫·普福（David Pfau）、斯坦福大学以人为本人工智慧研究所的艾瑞克·布尔优夫森和萨里大学教授阿德里安·希尔顿（Adrian Hilton）等。[6][17]领导Meta Platforms人工智慧研究团队的杨立昆表示，LaMDA这类的神经网络“不足以达到真正的智慧”。[18]加利福尼亚大学圣塔克鲁兹分校教授马克斯·克雷明斯基（Max Kreminski）指出，LaMDA的架构并不“支持类似人类意识的一些关键能力”，在其为典型的大型语言模型的前提下，LaMDA的神经网络权重是被“冻结”的。[19]
IBM人工智慧系统沃森的首席研究员大卫·费鲁奇将LaMDA和沃森首次推出的表现进行比较。[20]前Google人工智慧伦理研究员提姆尼·盖布鲁表示雷蒙恩是研究人员和媒体引起的“炒作循环”（hype cycle）受害者。[21]而雷蒙恩的说法也引发图灵测试是否仍有助于研究人员识别机器何时可视为具备通用人工智慧或思考能力的讨论[6]，《华盛顿邮报》的威尔·奥梅鲁斯（Will Omerus）认为，图灵测试实际上是判断人工智慧是否有能力欺骗人类的标准，而非仅是识别其是否具备人类智慧或思考的工具。[22][10]《大西洋》杂志的布莱恩．克里斯汀则认为，LaMDA争议是ELIZA效应的一个实例。[23]
应用
随着LaMDA 2于2022年5月发表，Google同时推出配套产品AI Test Kitchen，是由LaMDA驱动的Android移动应用程式，该程序可根据复杂的目标或话题生成任务清单以协助此用者达成。[24][25][5]AI Test Kitchen最初仅对Google员工开放，后续会于2022年透过邀请向“特定的学者、研究人员和政策制定者”提供该服务。[26]同年8月，Google开始开放美国用户提前注册体验。[27]。同年11月，Google发布AI Test Kitchen“第二季度”（season two）的更新，其中以限定的形式集成Google大脑的文本到图像生成模型－Imagen。[28]截至2023年1月，AI Test Kitchen的第三版本仍在开发中，预计于同年的I/O年会上推出。[29]
2022年11月，美国人工智慧研究实验室OpenAI推出了基于GPT-3语言模型的聊天机器人ChatGPT。[30][31][32]Google意识到ChatGPT威胁到自家Google搜索产品的地位，该公司行政总裁桑达·皮采因此发布红色警报，并且让更多的团队参与公司人工智慧领域的工作。[33]Google联合创始人拉里·佩奇和谢尔盖·布尔与公司高层召开紧急会议，商讨Google应如何应对ChatGPT造成的威胁。[34]
当被员工问及LaMDA是否在与ChatGPT竞争时已错失良机时，皮采和Google AI负责人杰夫·迪恩表示，虽然该公司可以开发出与ChatGPT类似的产品，但由于Google的规模远远大于OpenAI，所以某些方面若发展的太快可能会存在一定的风险。[35][36] 2023年1月，Google子公司DeepMind行政总裁杰米斯·哈萨比斯表示DeepMind的人工智慧聊天机器人功能比ChatGPT更加强大，[37]同时Google为迎头赶上ChatGPT的脚步，高层要求该公司的员工密集测试Bard以及其他聊天机器人。[38][39]2023年2月，行政总裁皮采在季度收益投资者电话会议上向投资者表示，该公司正计划在实际应用中引入LaMDA。[40]
2023年2月6日，Google正式发布Bard，这是一款由LaMDA提供支持的对话式AI聊天机器人。首先由“受信任的测试人员”率先测试Bard，后续于同年2月底向更多人提供Bard服务。皮采解释Bard将如何被集成进Google搜索中[41][42][43]，同时公司正努力将其与操作系统ChromeOS结合。[44]Bard的开发代号为“Atlas”[45]，产品名Bard参考凯尔特文化中的吟游诗人，以反映“算法本质的创造性”（the creative nature of the algorithm underneath）。[46][47]同年2月8日，Google举行Bard的新闻发布会，实际演示时Bard被问及有关詹姆斯·韦伯空间望远镜的问题，结果Bard却提供该空间望远镜拍摄了首张太阳系外行星的错误资讯（事实上是由甚大望远镜于2004年观测得到）。[48][49][50]金融分析师和记者形容Google是在“追赶”微软（OpenAI的投资合作方）[51][48][52][53]并“匆忙”宣布Bard的消息，以抢在同月7日微软发表将ChatGPT集成至该公司搜索引擎Bing的活动之前。[54][55]8日的广告发布后，Google母公司Alphabet的股价下跌8％，导致其市值蒸发约1,000亿美元。[56][57][51]美国科技新闻媒体《The Verge》和彭博社指出，这代表Google和微软这两家科技巨擘在“探索未来”上另一场冲突的开始，双方于6年前的“休战”已于2021年结束。[58][59]2023年3月21日，美国和英国用户可以申请测试Bard。[60]
训练方式
LaMDA使用一个仅具备解码器的Transformer语言模型[61]，于内含1兆5600亿文档和对话内容的语料库进行预备训练。[62]之后以手动注释响应生成的微调数据训练敏感度、趣味和安全性。[63]Google的测试表明，LaMDA在趣味性方面超过人类反应。[64]另外，LaMDA的Transformer模型与一个外部的资讯检索系统配合，以提高资讯准确度。[65]
LaMDA测试了三种模型，其中最大的模型有1,370亿个非嵌入参数[66]：
| 参数 | 图层 | 单位（dmodel） | Heads |
|---|---|---|---|
| 2B | 10 | 2560 | 40 |
| 8B | 16 | 4096 | 64 |
| 137B | 64 | 8192 | 128 |
参见
参考资料
- Thoppilan, Romal; De Freitas, Daniel; Hall, Jamie; Shazeer, Noam; Kulshreshtha, Apoorv; Cheng, Heng-Tze; Jin, Alicia; Bos, Taylor; Baker, Leslie; Du, Yu; Li, YaGuang; Lee, Hongrae; Zheng, Huaixiu Steven; Ghafouri, Amin; Menegali, Marcelo; Huang, Yanping; Krikun, Maxim; Lepikhin, Dmitry; Qin, James; Chen, Dehao; Xu, Yuanzhong; Chen, Zhifeng; Roberts, Adam; Bosma, Maarten; Zhao, Vincent; Zhou, Yanqi; Chang, Chung-Ching; Krivokon, Igor; Rusch, Will; Pickett, Marc; Srinivasan, Pranesh; Man, Laichee; Meier-Hellstern, Kathleen; Ringel Morris, Meredith; Doshi, Tulsee; Delos Santos, Renelito; Duke, Toju; Soraker, Johnny; Zevenbergen, Ben; Prabhakaran, Vinodkumar; Diaz, Mark; Hutchinson, Ben; Olson, Kristen; Molina, Alejandra; Hoffman-John, Erin; Lee, Josh; Aroyo, Lora; Rajakumar, Ravi; Butryna, Alena; Lamm, Matthew; Kuzmina, Viktoriya; Fenton, Joe; Cohen; Aaron; Bernstein, Rachel; Kurzweil, Ray; Aguera-Arcas, Blaise; Cui, Claire; Croak, Marian; Chi, Ed; Le, Quoc. LaMDA: Language Models for Dialog Applications (PDF). arXiv. 2022-01-20 [2022-06-12]. arXiv:2201.08239
. （原始内容存档于2022-01-21） （英语）.
外部链接
Wikiwand in your browser!
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.
