首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

chatGPT的三大优势:强大的底座能力、推理能力、零样本能力

2022 年 11 月 30 日,OpenAI 推出了一款全新的对话式通用人工智能工具——ChatGPT。

这款工具表现出了非常惊艳的语言理解、生成、知识推理能力,可以很好地理解用户的意图,做到有效的多轮沟通,并且回答内容完整、重点清晰、有概括、有逻辑、有条理。

ChatGPT 上线后,仅在 5 天内就有高达 100 万的活跃用户数,2 个月后活跃用户数已达 1 个亿,成为历史上增长最快的消费者应用程序。

强大的底座能力

ChatGPT 是基于 GPT-3.5 系列的 Code-davinci-002 指令微调而成的。而 GPT-3.5 系列是一系列采用了数千亿的 token 预训练的千亿大模型,其足够大的模型规模赋予了 ChatGPT 更多的参数量以记忆充足的知识。

同时,其内含“涌现”的潜力,为之后的指令微调能力激发打下了坚实的基础。

惊艳的思维链推理能力

除了基础的文本预训练,ChatGPT 还采用了 159G 的代码进行了继续预训练。利用代码分步骤、分模块的特性,模型涌现出了逐步推理的能力.

在模型表现上不再是随着模型规模线性增长,有了激增,打破了 scaling law。

实用的零样本能力

此外,ChatGPT 还具有实用的零样本能力。通过在基础大模型上利用大量种类的指令进行指令微调,模型的泛化性得到了显著地激发,可以处理未见过的任务,使其通用性大大提高,在多种语言、多项任务上都可以进行处理。

老斜说

综上,在大规模语言模型存储充足的知识和涌现的思维链能力的基础上,ChatGPT 辅以指令微调,几乎做到了知识范围内的无所不知,且难以看出破绽,已遥遥领先普通的聊天机器人。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20230405A08JF000?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券