66读书

大语言模型（llm）：ai“读懂”语言的核心（第11页）

2018年是大语言模型发展的重要一年，Google和OpenAI分别提出了BERT - 1和GPT - 1模型，开启了预训练语言模型时代。BERT是一种双向、3.4亿参数的模型，通过自监督学习对各种非结构化数据进行预训练，能有效理解单词之间的关系，迅速成为自然语言处理任务的首选工具；GPT - 1则基于Transformer架构，通过生成式预训练方式，展现出一定的语言生成能力 。

此后，模型的参数量和性能不断提升。2019年，OpenAI发布GPT - 2，参数量达到15亿；同年，Google发布参数规模为110亿的T5模型。2020年，OpenAI将语言模型参数量扩展到1750亿，发布了GPT - 3，它在多种自然语言处理任务上表现出色，无需针对特定任务进行大量训练，就能完成文本生成、翻译、问答等任务，引发了学术界和工业界的广泛关注 。

（三）能力探索与爆发期：应用拓展与快速发展

从2019年到2022年，研究人员开始深入探索如何在不针对单一任务进行微调的情况下，充分发挥大规模语言模型的能力。2019年，Radford等人使用GPT - 2模型研究了大规模语言模型在零样本情况下的任务处理能力；Brown等人在GPT - 3模型上研究了通过语境学习进行少样本学习的方法，并推出指令微调方案，将大量各类型任务统一为生成式自然语言理解框架，并构造训练语料进行微调 。

2022年，Ouyang等人提出了使用“有监督微调+强化学习”的InstructGPT算法，进一步提升了模型对人类指令的理解和执行能力。同年11月，ChatGPT发布，它通过简单对话框，就能实现问题回答、文稿撰写、代码生成、数学解题等多种功能，让大语言模型真正走进大众视野，引发全球关注和广泛应用。

这章没有结束，请点击下一页继续阅读！

2023年3月，GPT - 4发布，相较于ChatGPT又有明显进步，具备多模态理解能力，在多种基准考试测试上的得分高于88%的应试者。从2022年开始，大模型呈现爆发式增长，各大公司和研究机构纷纷发布自己的大语言模型系统，如Google推出的Bard、百度的文心一言、科大讯飞的星火大模型、智谱ChatGLM、复旦大学MOSS等，在不同领域和场景中得到应用和验证 。

2024年3月18日，马斯克的AI创企xAI正式发布大模型Grok - 1，其参数量达到了3140亿，远超OpenAI GPT - 3.5的1750亿，成为迄今参数量最大的开源大语言模型，遵照Apache 2.0协议开放模型权重和架构，为大语言模型的发展注入新的活力，也推动了开源社区的发展和创新 。

五、大语言模型面临的挑战：前进路上的绊脚石

尽管大语言模型取得了巨大的进展，但在实际应用中，仍然面临着诸多挑战，这些挑战限制了模型的性能和应用范围，也是当前研究人员努力攻克的方向。

（一）“幻觉”问题：生成内容与事实不符

“幻觉”是大语言模型最常见的问题之一，指模型生成的内容看似合理，但与事实不符。比如，当被问到“爱因斯坦获得过几次诺贝尔文学奖”时，模型如果回答“1次”，就出现了“幻觉”，因为爱因斯坦是物理学家，获得的是诺贝尔物理学奖，与文学奖毫无关系 。

这种问题的产生，主要是因为模型基于训练数据中的模式和统计规律生成文本，而非真正理解语义和事实。如果训练数据存在偏差、错误或不完整，模型就可能学到错误的信息，从而在生成文本时产生“幻觉”。此外，模型在处理复杂问题或需要精确知识的场景时，也容易出现“幻觉”，因为它难以准确判断哪些信息是可靠的，哪些是不可靠的 。

（二）逻辑推理能力不足：复杂逻辑判断易出错

虽然大语言模型在语言生成和理解方面表现出色，但在处理复杂逻辑推理问题时，仍然存在明显不足。例如，对于一些需要多步推理、因果关系分析或数学证明的问题，模型可能会得出错误的结论。比如，在解决数学问题“一个数加上5等于10，这个数是多少”时，模型可能会正确回答“5”，但对于更复杂的问题，如“有一个数列，前三个数分别是1、3、6，请问第五个数是多少（该数列规律为相邻两项差值依次为2、3、4……）”，模型可能就无法准确推理出答案“15” 。

这是因为逻辑推理需要对问题进行深入分析、理解和运用规则，而目前的大语言模型主要是基于数据驱动的学习方式，缺乏对逻辑规则的显式表达和推理能力。它们更多地依赖于记忆和模式匹配，而不是真正的逻辑思考，因此在面对复杂逻辑问题时容易出错 。

（三）数据质量与隐私问题：数据是“双刃剑”

大语言模型的训练依赖于海量数据，数据的质量和隐私问题成为不容忽视的挑战。一方面，低质量的数据，如包含错误信息、偏见、重复内容的数据，会影响模型的学习效果，导致模型学到错误的知识或产生偏见。例如，如果训练数据中存在大量对某个特定群体的负面描述，模型可能会学习到这种偏见，并在生成文本时表现出来 。

另一方面，数据隐私也是一个重要问题。训练数据中可能包含用户的个人信息、敏感数据等，如果这些数据在收集、存储和使用过程中没有得到妥善保护，就可能导致数据泄露，侵犯用户隐私。此外，一些数据可能受到版权保护，未经授权使用这些数据进行模型训练，还可能引发法律纠纷 。

（四）计算资源需求巨大：训练成本高昂