OpenAi GPT-4与GPT-3之间的详细比较

让我们来了解一下GPT 4与GPT 3或GPT 3.5之间的区别。

OpenAI通过自然语言处理(NLP)驱动的生成式预训练变换器(GPT)获得了技术上的卓越性。2020年，GPT-3的推出让世界震惊，最近推出的GPT-4通过修改算法在人工智能领域引起了轰动。

2022年11月推出的令人难以置信的ChatGPT在推出的前五天内就吸引了超过一百万用户，这也证明了OpenAI的能力。

通过这个详细的比较，您将了解OpenAI的GPT-4与GPT-3在应用、数据集和参数方面的区别。这将让您分析这些大型模型的功能和差异。

此外，您还将了解OpenAI的语言模型的微调和其中的错误。

OpenAI的GPT-3概述

在GPT-1和GPT-2取得成功之后，OpenAI通过引入大型模型的继任者-生成式预训练变换器3(GPT-3)取得了显著的领先地位。GPT-2由10亿个参数构建，而GPT-3则以超过1750亿个参数计数的效率引领了光年。

参数计数

生成式预训练变换器共有1750亿个参数，这在2020年被认为是巨大的进展。相比之下，GPT-2基于10亿个参数构建，远远少于GPT-3。

模型的参数计数越多，它所需的数据集就越多。这意味着GPT-3在训练过程中使用了多个巨大的数据集（几乎包括整个维基百科和图书）。

能力

GPT-3是一个深度学习的大型语言模型，训练用于生成类似人脑的文本。GPT-3能够根据句子或短语中下一个词的预测生成类似人类的文本。

它可以生成文本、翻译、总结、编码、写诗和回答问题。

数据集

GPT-3包含一个大型数据集（17GB），使其能够生成准确的响应。数据集与大型模型的准确性有关。

应用

凭借大型数据集和大量参数，GPT-3在准确性和知识方面是一个里程碑。GPT-3在文本生成、编码、语言翻译、总结和客户管理等方面有广泛的应用。

了解GPT-3.5

生成式预训练变换器3.5于2022年3月推出，它基于前任GPT-3，但增加了一些更先进的功能，以使其像人脑一样工作并理解人类情感。这对于消除GPT-3的局限性-有害输出是非常重要的。

为了进行更好的情感分析，GPT-3.5在大型模型的微调过程中包含了人类反馈的强化学习(RLHF)。RLHF涉及到人类的反馈，让机器在训练过程中理解和发展。

RLHF的主要目的是将知识融入到模型中，并获得更准确的专业知识和情感分析输出，同时具备多任务能力。2022年11月推出的著名的ChatGPT依赖于GPT-3.5的微调，以在一次执行中执行各种任务，并且具有更高的准确性。

OpenAI的GPT-4简介

2024年3月，OpenAI再次通过推出GPT系列的继任者GPT-4在人工智能领域取得了巨大的成功。GPT-4基于GPTT-3.5的功能，但引入了以前从未引入过的修改。

性能

OpenAI stated that GPT-4 passes the bar exam with a score接近前10%的测试者，而GPT-3.5的得分则在后10%左右。GPT-4在模型”对齐”的基础上进行了改进，即使遵循用户的意图，避免了错误或扭曲的输出。

OpenAI表示，GPT-4在可控性方面有所提升，可以根据用户的请求调整自己的行为。例如，它可以根据用户的指令改变输出的风格、语调和字体。

拒绝超出保护栏的要求可以使模型判断并拒绝用户的非法指令。

能力

OpenAI表示：“在一次随意对话中，GPT-3.5和GPT-4之间的区别可能会微妙。当任务的复杂性达到一个足够高的阈值时，GPT-4比GPT-3.5更可靠、更有创造力，可以处理比GPT-3.5更细致的指令。”

GPT-4使用了针对人类设计的不同奥赛及其他问题集的考试试卷进行练习。GPT-4的效率比GPT-3.5高出40%。

它还通过为机器模型精心设计的传统基准进行了测试，并以出人意料的方式超越了现有的大型语言模型以及最先进的模型。

视觉输入

大型模型中最新的发展是接受图像输入（仅限于研究角度），以及文本输入。基于文本和图像输入，GPT-4生成文本输出，描述了各种领域的内容，例如屏幕截图、图片或图表。

GPT-4、GPT-3和GPT-3.5之间的比较

比较GPT-3GPT-3.5GPT-4

推出时间	2020年	2022年	2024年
参数	1750亿	13亿60亿1750亿	5400亿
数据集	17 GB	17 GB	–
能力	生成文本，翻译，总结，编码，回答问题，创作诗歌	生成文本，翻译，总结，编码，回答问题，根据人类反馈进行训练	生成文本，翻译，总结，编码，回答问题，对齐，可控性，保护栏，视觉输入（多模态），处理更长的文本
输入	基于文本	基于文本	基于文本和视觉输入
令牌限制	每1000个令牌0.0004至0.02美元	每1000个令牌0.002美元	有8K时，每1000个提示令牌0.03美元，每1000个补全令牌0.06美元。有32K时，每1000个提示令牌0.06美元，每1000个补全令牌0.12美元。

分析GPT-4和GPT-3模型的能力

GPT-3的能力

GPT-3是一个语言处理的AI模型，能够识别、理解和生成类似人类的文本。它可以生成文本、总结、翻译语言、生成代码、创作诗歌和故事，并回答问题。

作为其中一个参数达到1750亿的最大型模型之一，它经过大量的数据集训练以提供更准确的输出。

GPT-4的能力

GPT-4在算法上基于GPT-3和GPT-3.5进行工作，以生成更准确的类人文本作为输出。

(a) GPT-4接受视觉和文本输入以生成文本输出。

(b) GPT-4具有对齐的观点，避免伪造信息，提供真实的文本。

(d) 此外，它拒绝超出保护栏以提高其真实性并防止非法指令。

(e) GPT-4是一种多语言模型。它在英语方面的准确性达到85%，可以使用包括普通话、波兰语和斯瓦希里语在内的25种语言进行交流。

(f) GPT-4可以通过更长的上下文长度处理更长的文本。

GPT-4和GPT-3中的令牌限制

将令牌视为交付输出之前的单词处理的碎片。GPT-4有两个上下文长度，决定了单个API请求中使用的令牌的限制。

GPT-3 允许用户在单个 API 请求中使用最多 2,049 个标记。而 GPT-4-8K 窗口允许最多 8,192 个标记，而 GPT-4-32K 窗口一次最多有 32,768 个标记（最多 50 页）。

GPT-4 在高效生成、摘要和翻译 50 页文本方面发挥了重要作用。

GPT-4 和 GPT-3 中的输入类型

与其前身 GPT-2、GPT-3 和 GPT-3.5 不同，它们只涉及一种处理文本的输入类型，GPT-4 在深度学习人工智能方面奠定了先进的基础。

GPT-4 模型将视觉输入（图片、截图、图表、表情包等）和文本输入交错以生成文本输出。

虽然视觉输入仅供研究预览使用，不对公众开放，但它为机器提供了新的视觉解释范围。根据 OpenAI 给出的例子，GPT-4 能够识别、理解和解释视觉输入，从而提供更准确的文本信息。

GPT-4 和 GPT-3 对话背景的建立

这些 OpenAI 模型之间的一个显著区别是根据用户的命令来确定模型的语气、行为和风格的能力。

最新的 GPT 成员 GPT-4 可以根据命令调整其语气、风格和行为。这些通过“系统”来获取，该系统在其边界内提供面向用户的文本。模型与用户交互之间的边界使其能够拒绝参与不允许或非法的工作。

例如，OpenAI 分享了一张图片，GPT-4 不同意直接回答数学问题，而是鼓励用户自然地思考和解决。

GPT-4 和 GPT-3 使用成本的比较

毫无幻想！如果您想尝试最高效的语言模型，就必须付出代价！

成本根据涉及的标记进行比较。由于提示标记和完成标记的成本独立变化，并且经常难以计算，因此估算成本很复杂。

给出了各个 GPT 模型的成本：

GPT-3：每 1000 个标记的成本为 $0.0004 至 $0.02
GPT-3.5-Turbo：每 1000 个标记的成本为 $0.002
GPT-4（带有 8K 环境窗口）：每 1000 个提示（输入）标记的成本为 $0.03

每 1000 个完成（输出）标记的成本为 $0.06。

GPT-4（带有 32K 环境窗口）：每 1000 个提示（输入）标记的成本为 $0.06

每 1000 个完成（输出）标记的成本为 $0.12。

OpenAI 模型的微调

在这个阶段，大型模型实际上开始学习。它们解决问题、进行情感分析、生成文本、文档摘要等任务。为了更好地训练它，模型会根据大量的例子来调整其语气、风格和行为，并使其适应特定应用。

一旦微调完成，模型就不再需要示例，并且节省提示的费用。目前，在 OpenAI 中，基于 GPT-3 的模型可用于微调。

限制和错误

毫无疑问，GPT-4 是一个具有先进可靠性和能力的非凡模型，但它是完全可靠的吗？简而言之，GPT-4 确实是 OpenAI 的一个强有力的见证，但它仍然不完美。它有一些限制和错误需要修复！

像其之前的成员一样，GPT-4“产生幻觉！”它的得分比GPT-3.5高出40%，但仍然提供错误的文本。
它没有2021年9月之后的信息：2024年发布的GPT-4在2021年9月之后的事件上没有线索。这也是其之前成员的一个局限性，需要在最新版本中修复。
它没有更多变化！：基于前任的算法，与GPT3和GPT-3.5相比，它的变化不大。产品研究文档中指出了与之前版本的比较。

GPT-3和GPT-4的主要区别

OpenAI的GPT-4已经成为热门话题，具有先进的视觉输入、防护栏、对齐、更长的上下文和其他功能。用户可以通过使用GPT-4来使用这些先进和显著的功能。但这是否意味着它已经超越了GPT-3和GPT-3.5这样的之前的模型呢？

从技术上讲，是的，它已经通过最新的进展超越了这场竞赛，但仍然存在一些限制，这使它不适合每个人。显然，它的更高成本是首要问题。

其次，它在涉及更高参数集以获得准确响应的任务中效率更高。然而，对于解决基本问题，具有较小参数集的GPT-3是首选！

GPT-3与GPT-4的最终思考

OpenAI推出了名为GPT-4的最新版本。它已经包括了视觉输入，以更好地理解和输出基于文本的结果。现在，GPT-4可以生成、解释和翻译比以前更长的文本。而GPT-3只能处理包含较短文本的文本输入。

毫无疑问，最近发布的GPT-4具有更先进的功能，并且比之前的成员表现更好。但它并没有革新人工智能。它仍然存在GPT-3和GPT-3.5所具有的限制。这些是可以修复的错误，并且随着时间的推移可以变得更好。

即使具有GPT-4的可信度，它也不太可能取代之前的GPT。主要原因是其提示和完成标记的成本更高。用户可以使用GPT-3处理基本问题，而使用GPT-4处理复杂问题。

根据OpenAI的内部基准测试，GPT-4可以通过比GPT-3.5高出40%的分数消除“产生幻觉”的问题。