首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >在扯淡方面,ChatGPT到底强在哪儿?

在扯淡方面,ChatGPT到底强在哪儿?

原创
作者头像
华尔街科技眼
发布于 2023-02-08 00:50:45
发布于 2023-02-08 00:50:45
6420
举报
文章被收录于专栏:华尔街科技眼华尔街科技眼

文/杨晓羽 彭艺信 曾嘉怡

编辑/cc

近期,人工智能软件ChatGPT火爆全球。这款由美国顶尖AI实验室OpenAI开发并于2022年11月30日首次上线的软件,仅不到一周用户注册数就突破100万。

提起ChatGPT,不得不提及特斯拉创始人伊隆·马斯克(Elon Musk),OpenAI实验室就是由伊隆·马斯克和Sam Altman联合打造,成立于2015年。

2018年2月,Musk辞去了在OpenAI公司的董事职务。由于特斯拉和SpaceX正逐步加大在人工智能方面的投入,为避免未来可能发生的利益冲突,Musk退出OpenAI董事会,但将继续为公司提供资金支持并担任公司顾问。

图:特斯拉创始人马斯克称Chat GPT扯淡能力最强

马斯克向来具有敏锐的商业嗅觉和行业洞察力,其在社交媒体twitter上对ChatGPT的评论被行业高度关注。比如马斯克认为ChatGPT “好得吓人 ,我们离危险的强AI不远了”,也调侃ChatGPT的聊天能力——在扯淡方面,ChatGPT比其他(软件)都要强。

那么在扯淡方面,这款最火的软件ChatGPT到底强在哪儿?除了扯淡,ChatGPT,还有哪些强项?

强背景:顶级科技大厂注资

OpenAI实验室为非营利组织,是由伊隆·马斯克和Sam Altman联合打造,成立于2015年,主要致力于研究和发展友好的人工智能,使人类受益。

微软公司CEO萨提亚称会加速Open AI实验室的商业化

OpenAI实验室前期着眼于与其他机构和研究者合作。此后的发展过程中,该实验室的发展愿景逐渐清晰——将防止人工智能对人类造成伤害,打造“通用”机器人作为目标。

此后,OpenAI实验室便走上商业化道路,在此过程中,有几个标志性事件。

  • 2019年3月1日Open AI LP子公司成立;
  • 同年7月22日获得微软投资10亿美元,共同打造微软Azure(微软云服务);
  • 一年后的2020年6月11日,微软宣布GPT-3的语言模型;
  • 3个月后的9月22日微软获得独家授权;
  • 此后,便是上文提到的在11月30日,OpenAI首次上线的那一天,ChatGPT的自然语言生成模型,以对话方式进行交互。

2023年1月有消息流出,微软与OpenAI再次商议,打算投资100亿美元,希望将人工智能技术融入到办公软件等场景中。近期,ChatGPT的语言模型在GPT-3的基础上已更新到GPT-3.5。

强技术:三大核心能力支撑ChatGPT

ChatGPT的核心能力主要集中在三个方面,即数据层、算法层、算力层。实际上在AIGC领域中,任何产品都需要这三项。ChatGPT正是在算力的发展和大数据共同支持下完成大规模训练,才会取得今天的成绩。

相关资料显示,数据层在3000亿单词的语料上预训练拥有1750亿参数的模型(训练语料的60%来自于2016年-2019年的C4,22%来自于WebTex2,16%来自于Books,3%来自于Wikipedia)。也就是说,ChatGPT也像人类的大脑一样,发现了问题,想知道答案,则需要先学习“知识”,“知识”的数量越庞大,最后给出的结果也就越精确。

资料显示,由于RLHF的作用(Reinforcement Learning with Human Feedback,即基于人类反馈的强化学习方法,利用人类反馈信号直接优化语言模型,同时也是ChatGPT背后的训练方法),ChatGPT回应涉及四种情况,即真实、公正、拒绝不当的问题、拒绝ChatGPT知识能力范围外的情况。

  • ChatGPT在真实回应中,给出的答案内容较长,用户需要提出 “用一句话回答我”的指令,才会得到简短的答案。
  • 当面临公正问题的时候,ChatGPT通常会根据问题中涉及到的利益体,给出相当公平的答案。
  • 当发生需要拒绝的不当问题时,内容过滤器(即通过DOM元素包含的文本内容以及是否含有匹配元素进行筛选)与触发的RLHF模型自身能力相结合,先过滤再拒绝。
  • 当需要拒绝产品自身知识范围外的事情时,比如超过数据层所涵盖的范围,用户问到2022年之后的发生的新事件时,RLHF使模型能够隐秘地分辨出,哪些问题在该平台知识范围中的,哪些不是。这就好比,人类大脑在进行分析,解析一件事物时的过程,有些需要用排除法,有些需要用归纳和演绎。

在算力层面,模型训练和大数据之间的关系是相辅相成的,缺一不可。没有了大数据的支持,ChatGPT则无法进行学习训练。

此前,GPT-3的模型参数量有着多达1750亿个模型参数,而此次出圈的GPT-3.5,根据资料可知,是在GPT-3的模型基础上优化了算力,并且在InstructGPT模型中添加了人类对模型输出结果的演示,在对结果进行排序的基础上优化训练,并对结果进行排序,虽然只有13亿个参数,却表现出比GPT-3.0更好的回答准确率和道德表现。

GPT-3.5是在微软Azure AI超算基础设施(由V100GPU组成的高带宽集群)上进行训练,总算力消耗约3640PF-days(即每秒一千万亿次计算,运行3640天)。

强人才:AI天团引领技术走向

作为一个初创公司,OpenAI公司现仅有约300名员工,其中创始人队伍可以说是拥有硅谷的顶配,2015年山姆·奥特曼(Sam Altman)和特斯拉创始人伊隆·马斯克(Elon Musk)、格雷格·布雷克曼(Greg Brockman)伊利亚·苏茨克沃(Ilya Sutkever)组成了OpenAI的核心四人团队,其中马斯克在2018年时因公司发展方向分歧而离开,剩下的三个人山姆、格雷格、伊利亚,目前分别是OpenAI的CEO、CTO(首席技术官)和CSO(首席科学官)。

公司CEO山姆可以说是一个擅长风投融资的幸运儿,曾通过创建Hydrazine Capital创业基金,在成为CEO之前担任了很长时间的著名初创孵化器Y Combinator的总裁职位,积攒了大量的成功投资案例。

公司一开始挖掘业界顶尖的AI研究学者们成为联合创始人,ChatGPT的成功离不开伊利亚,他擅长机器学习,在进入OpenAI之前,他属于谷歌DeepMind团队,所在的团队研发的AI机器人AlphaGo因为赢得与围棋冠军的比赛而引起轰动,在OpenAI领导包括GPT的多个模型创造团队。

其他联合创始人也是AI领域顶尖技术人才,其中OpenAI联合创始人、原机器人团队负责人Wojciech Zaremba也是最初加入到OpenAI团队中的一员,他师从于深度学习三巨头之一的Yann LeCun,并曾先后在Google和Facebook工作;另一位联合创始人John Schulman也是强化学习领域中最有话语权的学者之一,提出了置信域策略梯度优化算法(Trust Region Policy Optimization),专注于研究机器人。

除了以上的人员,OpenAI团队的其他成员也都是世界级的工程师和科学家,履历光鲜。包括创业孵化器Y Combinator的联合创始人、曾任特斯拉人工智能负责人、谷歌机器学习研究员、Facebook人工智能研究员等。可以说,OpenAI也成为为数不多的拥有顶级咖位技术人才的的初创公司。

强竞争:ChatGPT引发鲇鱼效应

谈到ChatGPT的核心竞争力,ChatGPT引入了新技术RLHF,做到了让人工智能模型的产出和人类的常识、认知、需求、价值观保持一致性。这使得这款AI聊天机器人ChatGPT能写编写代码、进行剧本、词曲创作之外,还能够与人类对答如流。

在搜索引擎领域,面对ChatGPT,谷歌和百度相继展开对抗措施,有消息称,ChatGPT上线两周后,谷歌内部就发布了“红色代码”强调对ChatGPT进行高度重视。谷歌首席执行官Sundar Pichai表示,谷歌的多个团队需要集中精力,解决ChatGPT对谷歌的搜索引擎业务构成的威胁。

就在1月初,谷歌的子公司DeepMind就推出了用以抗衡ChatGPT的Sparrow,并且在1月27日发布了音乐AI模型MusicLM。不仅如此,据CNBC报道,谷歌正在测试一款名为Apprentice Bard(学徒巴徳)的人工智能聊天产品,以期对抗ChatGPT,这款聊天机器人基于谷歌的对话大模型LaMDA。

同时,在今年1月初,据百度搜索杰出架构师辜斯缪透露,百度预计在3月会做一次比较大的升级,并且强调今年百度搜索在技术上最重要的工作就是要把整个检索系统变成检索+生成双模系统。也有消息称,百度公司将在中国推出类似ChatGPT的人工智能聊天机器人程序,并将初步版本嵌入其主要搜索服务中,允许用户获得与ChatGPT类似的对话式搜索结果。据路透社报道,百度计划将该服务作为一个独立的应用程序推出,并逐步将其嵌入百度的搜索引擎。

百度CEO李彦宏称将酷技术变成人人需要的产品是大挑战

不仅如此,由11名OpenAI核心前员工出走创立的公司Anthropic,也推出了“ChatGPT最强竞品”——名为Claude的聊天机器人。据初创公司 Scale AI 的一名工程师Riley Goodside让 Claude 与 ChatGPT 进行的一场对决得出结论:Claude不仅更倾向于拒绝不恰当的要求,而且比 ChatGPT 更有趣,生成的内容更有逻辑性,更自然。有拿到内部试用权的网友体验后表示,Claude不会像ChatGPT那样一本正经地胡说八道。不过在涉及代码或推理相关问题的领域时,Claude 的表现要逊于 ChatGPT,生成的代码会出现更多 bug。

从对决结果来看,在回答测试问题方面,ChatGPT可能会出现创造不存在的知识,或者主观猜测提问者的意图等问题,在这点上Claude确实是 ChatGPT 的一个强有力的竞争对手。

除了围绕ChatGPT聊天机器人本身的对抗,另一边,投资方微软进行了 1 万人的裁员,这一消息也引发外界对 ChatGPT 影响就业的担忧。而与此同时,ChatGPT因强大的创作和回答问题能力而导致滥用的问题,例如作弊,也颇受大众关注。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
非支配排序遗传算法进化多目标优化算法
非支配排序遗传算法(NSGA-II)是一种经典的多目标优化算法,其Matlab实现结合了遗传算法框架与非支配排序、拥挤距离等关键技术。
用户4006703
2025/07/01
2540
NSGA-II入门
在遗传算法在解决多目标优化遇到瓶颈时,许多学者花费了不少时间和精力在多目标优化的遗传算法上,Goldberg首先将Pareto最优解的概念与适应度值概念相关联,即将Pareto非支配排序分层的概念与适应度联系,排序的层次低,则其分层中个体的适应度值较高,使算法能够朝着Pareto最优前沿进化,最终输出Pareto最优解集。在提出此概念后,学者们陆续提出了一系列多目标遗传算法,如SPGA、NPGA、FFGA、NSGA等等。但是最能代表Goldberg思想的算法是基于非支配排序的遗传算法,即NSGA(Non—dominated Sorting Genetic Algorithm)。
演化计算与人工智能
2020/08/14
2.7K0
多目标优化算法(一)NSGA-Ⅱ(NSGA2)[通俗易懂]
注:没有想到这篇博客竟然有很多人查看,这是我去年写的算法,里面难免会有一些错误,大家可以看看评论区,这里的matlab代码写的不太好,是以C语言思维写的,基本上没有并行,初学者建议可以看看platEMO上的源代码,提前培养好写代码的习惯!
全栈程序员站长
2022/07/21
11K0
多目标优化算法(一)NSGA-Ⅱ(NSGA2)[通俗易懂]
matlab多目标优化算法之NSGA-Ⅱ【含源代码】
当优化问题的目标函数为两个或两个以上时,该优化问题就是多目标优化。不同于单目标优化问题,多目标问题没有单独的解能够同时优化所有目标,也就是目标函数之间存在着冲突关系,其最优解通常是一系列解。多目标优化问题的解决办法有两类:一种是通过加权因子等方法将多目标转换成单目标优化问题,这种方法缺点明显;现在更多地是采用基于Pareto最优解的方法。
巴山学长
2021/08/26
6.4K1
NSGA-Ⅱ算法Matlab实现(测试函数为ZDT1)
NSGA-Ⅱ就是在第一代非支配排序遗传算法的基础上改进而来,其改进主要是针对如上所述的三个方面: ①提出了快速非支配排序算法,一方面降低了计算的复杂度,另一方面它将父代种群跟子代种群进行合并,使得下一代的种群从双倍的空间中进行选取,从而保留了最为优秀的所有个体; ②引进精英策略,保证某些优良的种群个体在进化过程中不会被丢弃,从而提高了优化结果的精度; ③采用拥挤度和拥挤度比较算子,不但克服了NSGA中需要人为指定共享参数的缺陷,而且将其作为种群中个体间的比较标准,使得准Pareto域中的个体能均匀地扩展到整个Pareto域,保证了种群的多样性。
里克贝斯
2021/05/21
2.5K0
NSGA2算法详解「建议收藏」
1.预备知识 多目标优化的相关知识:https://blog.csdn.net/haha0332/article/details/88634378
全栈程序员站长
2022/08/26
5.2K0
NSGA2算法详解「建议收藏」
有约束最优化问题MATLAB_约束条件下的最优化问题
最近在做天线多目标优化的实例,因此接触到了NSGA-Ⅱ算法,所以想分享以下我个人的学习内容与经历,仅作参考,如果内容有误,也希望各位能够指出来,大家一起进行交流指正。 内容将分为以下几个模块,内容可能较多,如果觉得不错的话,可以点赞👍,收藏或者转发哦! 目录 NSGA-Ⅱ算法简介 非支配集排序 锦标赛选择 模拟二进制交叉 多项式变异 精英保留策略 参考文献 NSGA-Ⅱ算法简介 NSGA-Ⅱ算法由Deb等人首次提出,其思想为带有精英保留策略的快速非支配多目标优化算法,是一种基于Pareto最
全栈程序员站长
2022/11/07
1.6K0
有约束最优化问题MATLAB_约束条件下的最优化问题
NSGA-Ⅱ算法C++实现(测试函数为ZDT1)
https://www.omegaxyz.com/2017/04/14/nsga-iiintro/
里克贝斯
2021/05/21
2K0
NSGA-Ⅱ算法C++实现(测试函数为ZDT1)
遗传算法系列之五:多目标遗传算法和遗传编程
本文介绍了遗传算法的基本概念、发展历程、应用案例以及未来展望。遗传算法是一种基于自然选择和遗传学原理的优化搜索算法,具有高度的并行性、全局搜索能力和鲁棒性。在计算机科学、人工智能、机器学习和生物信息学等领域具有广泛的应用。随着理论和技术的发展,遗传算法在解决复杂问题、优化模型和降低计算复杂度等方面取得了重要进展。
AlgorithmDog
2018/01/08
7.1K0
遗传算法系列之五:多目标遗传算法和遗传编程
NSGA3算法及其MATLAB版本实现
看懂NSGA3之前,了解的NSGA2的话更有帮助,这个博士写的带约束的NSGA2的matlab版本很不错(9个非约束的测试问题和5个带约束的测试问题),大家想了解NSGA3的最好先看看。 1. Constrained NSGA2:
全栈程序员站长
2022/08/26
1.4K0
NSGA3算法及其MATLAB版本实现
Jmetal 4+ 使用指南一以NSGA-II为例
以NSGA-II为例 本文以Jmetal官网文档为基础,结合自身理解链接如下 如果你还不了解NSGA-II可以参考 NSGA-II入门 多目标优化拥挤距离计算 多目标优化按支配关系分层实现 在本节中,我们描述了jMetal中NSGA-II的实现。在jMetal下,元启发式方法由定义算法本身的类和执行该算法的另一个类组成。第二类用于指定要解决的问题,要应用的运算符,算法的参数以及需要设置的其他任何参数(自jMetal 2.0起,我们通过使用包jmetal.experiments引入了另一种方法。如第4章中所述
演化计算与人工智能
2021/04/23
1.4K0
NSGA2理解
如个体i支配个体j,就说明个体i在所有目标函数的表现上都不差于个体j,并且至少在一个目标上优于个体j;
全栈程序员站长
2022/08/31
9690
​多目标优化拥挤距离计算
[1]支配关系: https://blog.csdn.net/u013555719/article/details/91356078
演化计算与人工智能
2020/08/14
2.6K0
论文研读-多目标自适应memetic算法
论文研读-多目标自适应memetic算法 Adaptive Memetic Computing for Evolutionary Multiobjective Optimization 此篇文章为 V. A. Shim, K. C. Tan and H. Tang, "Adaptive Memetic Computing for Evolutionary Multiobjective Optimization," in IEEE Transactions on Cybernetics, vol. 45
演化计算与人工智能
2020/08/14
2.3K0
深入解析多目标优化技术:理论、实践与优化
在现代机器学习和深度学习的世界里,优化算法扮演着核心角色。它们是推动算法向预期目标前进的引擎,无论是在精度、速度还是效率方面。但随着技术的发展,我们越来越多地面临着一个不可避免的挑战:如何在多个目标间寻找最佳平衡点。这就引出了多目标优化(Multi-Objective Optimization,简称MOO)的概念。
TechLead
2024/01/17
8.6K0
深入解析多目标优化技术:理论、实践与优化
NSGA2 算法MATLAB完整代码 中文注释详解
https://download.csdn.net/download/joekepler/10590751
全栈程序员站长
2022/08/26
1.3K0
NSGA2 算法MATLAB完整代码 中文注释详解
NSGA2算法中文版详细介绍
NSGA2主要是对NSGA算法的改进。NSGA是N. Srinivas 和 K. Deb在1995年发表的一篇名为《Multiobjective function optimization using nondominated sorting genetic algorithms》的论文中提出的。该算法在快速找到Pareto前沿和保持种群多样性方面都有很好的效果,不过在这么多年的应用中也出现了如下的一些问题:
全栈程序员站长
2022/08/31
1K0
外部存档指导的多目标进化算法简略版
正值毕业季,小编这里简洁明了地讲述一下自己毕业设计相关的算法。 当初之所以跟着导师学习进化算法,首先很有意思的一点是,进化算法是一种种群类算法,设计算法思路的时候感觉就像在玩策略游戏,讲求如何排兵布阵
智能算法
2018/04/02
1.9K0
外部存档指导的多目标进化算法简略版
外部存档指导的多目标进化算法简略版
正值毕业季,小编这里简洁明了地讲述一下自己毕业设计相关的算法。 当初之所以跟着导师学习进化算法,首先很有意思的一点是,进化算法是一种种群类算法,设计算法思路的时候感觉就像在玩策略游戏,讲求如何排兵布阵
智能算法
2018/04/03
1K0
外部存档指导的多目标进化算法简略版
论文研读-基于决策变量聚类的大规模多目标优化进化算法
A Decision Variable Clustering-Based Evolutionary Algorithm for Large-Scale Many-Objective Optimization 此篇文章为 X. Zhang, Y. Tian, R. Cheng and Y. Jin, "A Decision Variable Clustering-Based Evolutionary Algorithm for Large-Scale Many-Objective Optimization,
演化计算与人工智能
2020/08/14
2K0
推荐阅读
相关推荐
非支配排序遗传算法进化多目标优化算法
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档