Remove ads
大语言模型（英语：large language model，LLM）是一种语言模型，由具有许多参数（通常数十亿个权重或更多）的人工神经网络组成，使用自监督学习或半监督学习对大量未标记文本进行训练[1]。大语言模型在2018年左右出现，并在各种任务中表现出色[2]。
 | 此条目可参照英语维基百科相应条目来扩充。 |
大型语言模型
| 上级分类 | 语言模型  |
|---|---|
| 用途 | 对话型AI |
| 话题方面 | 人工智能 |
| 简称 | LLM |
| 详情描述网址 | https://www.youtube.com/watch?v=WqYBx2gB6vA |
| 使用 | AI提示、变换器 |
| EntitySchema for this class | Entity schema not supported yet (E434) |
| 相对概念 | 小型语言模型 |
尽管这个术语没有正式的定义，但它通常指的是参数数量在数十亿或更多数量级的深度学习模型[3]。大语言模型是通用模型，在广泛的任务中表现出色，而不是针对一项特定任务（例如情感分析、命名实体识别或数学推理）进行训练[2]。
尽管大语言模型仅在预测句子中的下一个单词等简单任务上接受过训练，但发现具有足够训练和参数计数的神经语言模型可以捕获人类语言的大部分句法和语义。 此外大语言模型还展示了相当多的关于世界的常识，并且能够在训练期间“记住”大量事实[2]。
虽然 ChatGPT 等大语言模型在生成类人文本方面表现出了卓越的能力，但它们很容易继承和放大训练数据中存在的偏差。这可能表现为对不同人口统计数据的歪曲表述或不公平待遇，例如基于种族[4]、性别[5]、语言[6]和文化群体[6]的不同观点与态度。
Remove ads
指令调优（Instruction Tuning）是一种微调技术，通过在包含（指令，输出）对的数据集上以监督学习方式进一步训练大型语言模型，使其更好地理解和执行人类指令。这种方法弥合了大型语言模型的下一个词预测目标与用户希望模型遵循人类指令之间的差距[7]。
大语言模型偏差和局限性是自然语言处理（NLP）领域正在进行的研究。虽然大语言模型在生成类人文本方面表现出了卓越的能力，但他们很容易继承和放大训练数据中存在的偏见。这可能表现为对不同人口统计数据的不公平待遇，例如基于种族、性别、语言和文化群体的统计数据。此外，这些模型通常面临事实准确性的限制。研究和缓解这些偏见和限制对于人工智能在不同社会和专业领域的道德发展和应用至关重要。
幻觉指的是大语言模型输出与客观事实不符的内容，其可能由模型本身或用户引导产生。[9]
语言偏差是指与语言相关的一种统计抽样偏差，也就是说在信息抽样中，查询语言导致的系统偏差会使其无法准确呈现数据中的各种不同主题和观点。当前的大型语言模型主要是根据英语数据进行训练的，因此通常将英语观点视为真实可靠的观点，而系统地将非英语观点视为不相关、错误或噪音。当被问到诸如“什么是自由主义？”之类的政治意识形态的问题时，ChatGPT以英美角度为中心，而对例如说越南的“反对国家干预个人和经济生活”与中国的“限制政府权力”等视而不见。同样，回复中也没有日本、韩国、法国和德国语料库中的主流政治观点。[6]
性别偏差是指这些模型产生的结果倾向于对一种性别产生不公平的偏见。这种偏差通常源于训练这些模型的数据。例如，大型语言模型通常根据传统的性别规范来分配角色和特征；它可能会将护士或秘书主要与女性联系起来，将工程师或首席执行官与男性联系起来。[4][10]
政治偏差是指算法系统地倾向于某些政治观点、意识形态或结果，也可能表现出政治偏见。由于训练数据包含广泛的政治观点和覆盖范围，因此模型可能会生成倾向于特定政治意识形态或观点的响应，具体取决于数据中这些观点的普遍程度。[11]
文化偏见是指大语言模型对特定的文化实践、信仰或传统持有偏见，由于受到训练数据中文化信息的不均衡、误导性或歧视性影响。例如，若模型的训练数据中某种文化的观点被过度代表，模型就继承这种偏差形成一定的偏见。[12]
地域偏差是指大语言模型根据地理位置或国籍对人们的行为、习惯或特征做出偏见性的假设。这种偏差可能导致对特定地区的知识、成就、问题、潜力等方面的误解、低估或过度放大。[13]
年龄偏差是指大语言模型在处理或生成与年龄相关的话题时，根据年龄做出刻板印象化的假设，例如认为年长者不懂技术或年轻人缺乏责任感。[14]
职业偏差是指大语言模型对特定职业持有刻板印象，将某些职业视为比其他职业更有价值或重要，或对特定职业的人群做出性格或能力上的假设。[15]
- GPT（OpenAI）
- GPT-3（OpenAI）
- GPT-4（OpenAI）
- LaMDA（谷歌）
- PaLM（谷歌）
- Gemini（谷歌）
- Claude（Anthropic）
- LLaMA（Meta）
- Titan（亚马逊）
- Mistral（Mistral AI）
- BLOOM（Hugging Face）
- 文心一言（百度）
- 通义千问（阿里云）
- 混元（腾讯）
- 盘古（华为）
- 星火（科大讯飞）
- 商量 SenseChat（商汤科技）
- 百川（百川智能）
- 豆包（抖音）
- GLM（清华智谱）
- Open LLM Leaderboard（开放LLM排行榜旨在跟踪、排名和评估开放LLM和聊天机器人） （页面存档备份，存于互联网档案馆）
- 最全大语言模型--偏见测评测评汇集 https://blog.sciencenet.cn/blog-3429562-1426223.html
Wikiwand in your browser!
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.
Remove ads