全面解读：OpenAI GPT-4o模型及其获取与使用方法

OpenAI 在「春季新品发布会」上搬出了新一代旗舰生成模型 GPT-4o、桌面 App，并展示了一系列新能力。这一次，技术颠覆了产品形态，OpenAI 发布 GPT-4o全能模型 实时语音和视觉能力 再次刷新ai科技业界。

什么是 GPT-4o？

1.GPT-4o 是 OpenAI 的新旗舰模型，可以实时跨音频、视觉和文本进行推理。

2.GPT-4o 最初将在 ChatGPT 和 API 中作为文本和视觉模型提供（ChatGPT 将继续通过预先存在的语音模式功能支持语音）。具体来说，GPT-4o 将在 ChatGPT Free、Plus 和 Team（即将推出 Enterprise）以及 Chat Completions API、Assistants API 和 Batch API 中提供。

3.GPT-4o(“o”代表“omni”)是迈向更自然的人机交互的一步——它接受文本、音频和图像的任意组合作为输入，并生成文本、音频和图像的任意组合输出。它可以在短至 232 毫秒的时间内响应音频输入，平均为 320 毫秒，与人类的响应时间相似(在新窗口中打开)在一次谈话中。它在英语文本和代码上的性能与 GPT-4 Turbo 的性能相匹配，在非英语文本上的性能显着提高，同时 API 的速度也更快，成本降低了 50%。与现有模型相比，GPT-4o 在视觉和音频理解方面尤其出色。

在 OpenAI API 中访问 GPT-4、GPT-4 Turbo 和 GPT-4o

GPT-4 Turbo 与 GPT-4o

GPT-4o 具有相同的高智能性，但比 GPT-4 Turbo 更快、更便宜，并且具有更高的速率限制。具体来说：

1.定价：GPT-4o 比 GPT-4 Turbo 便宜 50%，输入代币为 5 美元/M，输出代币为 15 美元/M。

2.速率限制：GPT-4o 的速率限制比 GPT-4 Turbo 高 5 倍——每分钟最多 1000 万个代币。

3.速度：GPT-4o 的速度是 GPT-4 Turbo 的 2 倍。

4.视觉：在与视觉能力相关的评估中，GPT-4o 的视觉能力表现优于 GPT-4 Turbo。

5.多语言：GPT-4o 比 GPT-4 Turbo 改进了对非英语语言的支持。

6.GPT-4o 目前的上下文窗口为 128k，知识截止日期为 2023 年 10 月。

GPT-4o更灵活的语音交互功能提升

在 GPT-4o 之前，您可以使用语音模式与 ChatGPT 对话，平均延迟为 2.8 秒 (GPT-3.5) 和 5.4 秒 (GPT-4)。为了实现这一目标，语音模式是由三个独立模型组成的管道：一个简单模型将音频转录为文本，GPT-3.5 或 GPT-4 接收文本并输出文本，第三个简单模型将该文本转换回音频。这个过程意味着主要智能来源GPT-4丢失了大量信息——它无法直接观察音调、多个说话者或背景噪音，也无法输出笑声、歌唱或表达情感。

借助 GPT-4o，我们跨文本、视觉和音频端到端地训练了一个新模型，这意味着所有输入和输出都由同一神经网络处理。由于 GPT-4o 是我们第一个结合了所有这些模式的模型，因此我们仍然只是浅尝辄止地探索该模型的功能及其局限性。

图像视觉能力

此外，GPT-4o 在理解和生成图像方面的能力比任何现有模型都要好得多，此前很多不可能的任务都变得「易如反掌」。

1.比如，你可以让它帮忙把 OpenAI 的 logo 印到杯垫上：

scrnli_2024_5_14 15-40-33.png

经过这段时间的技术攻关，OpenAI 应该已经完美解决了 ChatGPT 生成字体的问题。

2.同时，GPT-4o 还拥有 3D 视觉内容生成的能力，能够从 6 个生成的图像进行 3D 重建：

3.这是一首诗，GPT-4o 可以将其排版为手写样式：

image.png

4.更复杂的排版样式也能搞定：

image.png

5.与 GPT-4o 合作，你只需要输入几段文字，就能得到一组连续的漫画分镜：

image.png

6.而下面这些玩法，应该会让很多设计师有点惊讶：

image.png

7.这是一张由两张生活照演变而来的风格化海报：

image.png

8.多线渲染 - 机器人发短信视角：

image.png

模型评估

根据传统基准测试，GPT-4o 在文本、推理和编码智能方面实现了 GPT-4 Turbo 级别的性能，同时在多语言、音频和视觉功能上设置了新的高水位线

image.png

image.png

image.png

image.png

image.png

API 中的可用性

GPT-4o 可供拥有 OpenAI API 帐户的任何人使用，您可以在Chat Completions API、 Assistants API和Batch API中使用此模型。该模型还支持函数调用和JSON模式。您还可以通过Playground开始。

成功支付 5 美元或更多（使用级别 1）后，您将能够通过 OpenAI API访问GPT-4、GPT-4 Turbo 和 GPT-4o模型。

了解有关为您的 OpenAI 帐户添加积分的更多信息。

API 中当前的 GPT-4o 定价可在我们的API 定价页面上找到。

获取 API Key

要使用 ChatGPT-4o API，需要先注册一个 OpenAI 账号并获取 API Key。以下是具体步骤：

访问 OpenAI 官网 并注册账号。

登录后，在账户设置中找到 API Keys 部分。

创建新的 API Key 并保存好，切勿泄露。

预充值，在“Anthropic”中选择“API keys”输入预充值金额，最低为5美元。

API 请求限制

请注意，ChatGPT 速率限制独立于 API 速率限制。您可以在此处了解有关 API 速率限制的更多信息。

您可以在API 平台的限制部分查看您的 API 速率限制。

但请耐心等待——我们预计会有大量需求，并将在未来几个月内扩大和优化我们的系统。

我们如何处理发送到 OpenAI API 的数据

与我们平台的其他部分一样，传递到 OpenAI API 的数据和文件绝不会用于训练我们的模型，除非您明确选择参加训练。您可以在此处详细了解我们的数据保留和合规性标准。

使用 ChatGPT 访问 GPT-4o

ChatGPT 免费套餐

免费套餐的用户将默认使用 GPT-4o，并且使用 GPT-4o 可以发送的消息数量受到限制，这将根据当前的使用情况和需求而有所不同。当不可用时，免费层用户将切换回 GPT-3.5。

免费用户还可以使用高级工具对消息进行有限的访问，例如：

• 数据分析
• 文件上传
• 浏览
• 发现和使用 GPT
• 想象

GPT-4o 具有先进的视觉功能，可提高理解您共享的图像的准确性。

GPT-4o这么强，全都免费开放了，这是劝大家不续订ChatGPT Plus了的意思吗?

那肯定不是啊～免费套餐的用户将默认使用 GPT-4o，并且使用 GPT-4o 可以发送的消息数量受到限制；

获取试用：实测把梯子切换到日本IP就可以用gpt-4o，切换回美国IP就消失了。根据IP给的GPT-4o，还有其他部分地区应该也会给

普号GPT-4o和付费有以下比较大的区别:

1.普号GPT-4o不可以画图，传文件(有的可以传)。付费可以

2.普号的GPT-4o限制10条/3小时

3.ChatGPT Plus限制GPT-4o消息80条/3小时，GPT-4仍然是40条，GPT-4用完后可以用GPT-4o，但是GPT-4o的80条用完后不能用GPT-4。

4.team限制100条/3小时，和4共享额度

5.普号的GPT-4o是8k，付费的是32k

6.能力测试不及gpt-4 turbo系列

总结：GPT-4o新模型免费体验有限制，Plus 用户将能够在 GPT-4o 上每 3 小时最多发送 80 条消息，在 GPT-4 上每 3 小时最多发送 40 条消息，team限制100条/3小时，和4共享额度。

4o14160720.png

免费套餐用户可以随时点击 ChatGPT 升级到 Plus：

ChatGPT Plus 和团队

ChatGPT Plus 和 Team 订阅者可以在chatgpt.com上访问 GPT-4 和 GPT-4o ，并具有更大的使用上限。

ChatGPT Plus 和 Team 用户将能够从页面顶部的下拉菜单中选择 GPT-4o：

截至 2024 年 5 月 13 日，Plus 用户将能够在 GPT-4o 上每 3 小时最多发送 80 条消息，在 GPT-4 上每 3 小时最多发送 40 条消息。我们可能会减少高峰时段的限制，以使 GPT-4 和 GPT-4o 可供最广泛的人使用。

ChatGPT Team 工作区中用户的 GPT-4 和 GPT-4o 消息上限高于 ChatGPT Plus。

请注意，未使用的消息不会累积（即，如果您等待 6 小时，则在接下来的 3 小时内 GPT-4 上将没有 80 条消息可供使用）。

聊天GPT企业

ChatGPT Enterprise 客户很快就能访问 GPT-4o。

ChatGPT Enterprise 计划专为满足大型企业的需求而设计，可无限制、高速访问 GPT-4o 和 GPT-4。

ChatGPT Enterprise 帐户上的新对话将默认为 GPT-4o。 ChatGPT Enterprise 用户将能够从页面顶部的下拉菜单中选择其他型号：

ChatGPT Enterprise 还提供企业级安全和隐私、用于处理较长输入的较长上下文窗口、对数据分析、自定义选项等高级工具的无限制高速访问。

新的桌面 app 简化用户工作流程

对于免费和付费用户，OpenAI 还推出了适用于 macOS 的新 ChatGPT 桌面应用程序。通过简单的键盘快捷键(Option + Space)，用户可以立即向 ChatGPT 提问，此外，用户还可以直接在应用程序中截取屏幕截图并进行讨论。

现在，用户还可以直接从计算机与 ChatGPT 进行语音对话，GPT-4o 的音频和视频功能将在未来推出，通过点击桌面应用程序右下角的耳机图标来开始语音对话。

从今天开始，OpenAI 将向 Plus 用户推出 macOS 应用程序，并将在未来几周内更广泛地提供该应用程序。此外今年晚些时候 OpenAI 会推出 Windows 版本。

文章由-uiuihao博客网整理发布