Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >会看图的「ChatGPT」来了!给张图就能聊天、讲故事、写广告

会看图的「ChatGPT」来了!给张图就能聊天、讲故事、写广告

作者头像
机器之心
发布于 2023-03-29 05:03:59
发布于 2023-03-29 05:03:59
2K0
举报
文章被收录于专栏:机器之心机器之心

机器之心报道

编辑:张倩

从室温超导聊到《最后的晚餐》,这个能用图片聊天的类 ChatGPT 应用有点意思。

能用图片聊天的「ChatGPT」你用过吗?由于 OpenAI 目前给出的对话框只支持文字输入,所以在 ChatGPT 上,我们是无法体验到这种乐趣的。

但是,一个名为「元乘象 Chatlmg」的国产 AI 模型弥补了这一遗憾。它不仅支持文字聊天,还能看懂图片上的内容并根据图片内容回答问题。

据机器之心了解,「元乘象 Chatlmg」最近刚刚上线,关注微信公众号「元乘象」可以体验该应用。

但受限于算力,目前该应用为邀请制访问方式。机器之心在获得邀请码后体验了一把。

元乘象初体验

给「元乘象 Chatlmg」一张「搭载火箭升空的大脑」的图像,它不仅能解读出图片的内容,还能给图片取标题并判断该场景在现实中是否合理。

甚至,它还能根据图片编个故事,而且编的故事往往比较积极、阳光:

如果你想聊聊艺术,「元乘象 Chatlmg」也能陪你聊,并告诉你艺术品背后的故事。

可以想象一下,如果不知道这幅画的名字,我们要怎么才能得到这些答案?首先,我们要把图片输入搜索引擎,从而根据匹配结果得到画的名字,然后再拿着这个名字去搜想知道的信息。而且这些信息可能以大篇幅的形式弹出,需要你自己去找感兴趣的段落。而借助「元乘象 Chatlmg」,我们只需要上传图片、提问题就可以了。

而且,「元乘象 Chatlmg」的这些能力不止可以用来闲聊,还可以用来写搭配建议、商品文案、旅游宣传词…… 这些都是可以商业变现的场景。

虽然结果可能不能直接拿来用,但用作参考还是很实用的。

当然,如果你对结果不满意,还可以要求「元乘象 Chatlmg」重写,完整体验做甲方的感觉。

此外,我们还在测试过程中发现了一些有趣的现象。比如,如果「元乘象 Chatlmg」仅根据图像和文字线索回答不出你的问题,它会让你帮忙提供更多信息。在增加信息之后,它有可能给出正确答案。

除了解读图像内容,「元乘象 Chatlmg」在纯文字的聊天方面表现也很优秀。

背后的技术与团队

如今,大模型在 NLP 任务中取得了成功的应用。但真实世界的数据模态是多样的。在通用人工智能的发展过程中,多模态感知极为重要的一环,也是解锁大模型技术应用的关键。

据机器之心了解,「元乘象 Chatlmg」就是搭载了自研的百亿级别参数多模态大模型,从而能让我们像体验的那样能感知图片并进行对话。

简单介绍来说,目前元乘象 Chatlmg 大模型参数规模大概 150 亿;数据方面目前主要是图文对数据、VQA 数据等。而在训练过程中,该模型放开尽量少的可学习参数,从而保证在有限算力上的高效训练。

未来,除了当下的图文互动外,该模型还将集成图片生成的能力并加入视频、音频等多种模态,甚至与数字人等技术结合,开发出更生动立体的形象。

顺便透露一下,这个好玩的应用来自中国人民大学高瓴人工智能学院教授卢志武带领的团队。卢志武教授曾主导设计了首个公开的中文通用图文预训练模型文澜 BriVL,并发表于 Nature Communications。该模型经过 6.5 亿弱相关中文图文对的预训练,学习到独特的中文语义理解能力并能很好地将中文语义与视觉信息联系起来,尤其擅长读取中文独有的含蓄语义与图片中的抽象概念。

最后,读者福利,我们提供50个邀请码让读者体验元乘象Chatlmg,请微信留言,先到先得。流程:关注微信公众号「元乘象」,注册,填写邀请码。

探寻隐私计算最新行业技术,「首届隐语开源社区开放日」报名启程

春暖花开之际,诚邀广大技术开发者&产业用户相聚活动现场,体验数智时代的隐私计算生态建设之旅,一站构建隐私计算产业体系知识:

  • 隐私计算领域焦点之性
  • 分布式计算系统的短板与升级策略
  • 隐私计算跨平台互联互通
  • 隐语开源框架金融行业实战经验

3月29日,北京·798机遇空间,隐语开源社区开放日,期待线下面基。

点击阅读原文,立即报名。

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:content@jiqizhixin.com

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2023-03-11,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 机器之心 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
OpenAI重磅研究:ChatGPT可能影响80%工作岗位,收入越高影响越大
机器之心报道 机器之心编辑部 ChatGPT 的影响涵盖所有收入阶层,且高收入工作可能面临更大的风险。 ChatGPT 来了,失业还会远吗?上星期在 GPT-4 发布时,ChatGPT 第一时间上线了新版本,OpenAI 首席执行官 Sam Altman 表示他对自家这种技术「有点害怕」。 和很多专家一样,Altman 担心人工智能技术的强大能力会制造过多虚假信息,另一方面,新技术也将改变经济、劳动力和教育环境。 有人开玩笑说 Sam Altman 每天背着的同一个包,里面有紧急关停 AI 的红色按钮。
机器之心
2023/03/29
3140
OpenAI重磅研究:ChatGPT可能影响80%工作岗位,收入越高影响越大
率先开放语音、视频等多模态对话能力,这家中国公司又比OpenAI走快了一步
机器之心报道 编辑:蛋酱 2023 年的 AI 领域,难以回避「大模型」这个关键词。 半年前 ChatGPT 的发布,在海内外引发了一场大模型之战。多家公司加紧研发,纷纷推出类 ChatGPT 产品,或是宣传要打造「中国的 OpenAI」。 有这样一家公司,却以低调的方式走在了研发和落地的前列。 今年三月初,国产 AI 模型「元乘象 ChatImg」推出「图片对话」功能,不仅支持文字聊天,还能看懂图片上的内容并根据图片内容回答问题。这一多模态对话能力的开放,甚至早于 OpenAI。 一周之后,震撼全球的 G
机器之心
2023/05/31
3610
率先开放语音、视频等多模态对话能力,这家中国公司又比OpenAI走快了一步
独家 | 多模态大模型初创企业“智子引擎”,近日完成千万元天使轮融资
AI 科技评论获悉:近日,一家多模态大模型初创公司“智子引擎”完成了千万元天使轮融资。据了解,“智子引擎”的 CEO 是 90 后青年高一钊。高一钊是人大博士生,师从卢志武,卢志武在“智子引擎”公司中担任顾问一职。此外,卢志武担任软通动力首席 AI 科学家。
AI科技评论
2023/08/08
6480
独家 | 多模态大模型初创企业“智子引擎”,近日完成千万元天使轮融资
人大高瓴人工智能学院Nature子刊:尝试利用多模态基础模型迈向通用人工智能
机器之心专栏 作者:中国人民大学高瓴人工智能学院 最近,中国人民大学高瓴人工智能学院卢志武教授、孙浩长聘副教授、以及院长文继荣教授作为共同通讯作者在国际综合期刊《自然·通讯》(英文名:Nature Communications,简称Nat Commun)上发表题为「Towards Artificial General Intelligence via a Multimodal Foundation Model」的研究论文,文章第一作者为博士生费楠益。该工作尝试利用多模态基础模型迈向通用人工智能,并将对各种
机器之心
2022/06/17
6480
人大高瓴人工智能学院Nature子刊:尝试利用多模态基础模型迈向通用人工智能
做完GPT-4完整测评,微软爆火论文称初版AGI就快来了
机器之心报道 机器之心编辑部 GPT-4 的能力什么档次? 1956 年,在达特茅斯学院召开的一个研讨会上,人工智能这一概念正式被提出。 之后这个词一直挑战着心理学家、哲学家和计算机科学家,因为它太难被定义了。1994 年,52 名心理学家联合发文试图捕捉它的本质。 随着时间的推移,研究者开始将注意力转移到特定领域的 AI 系统,如 2016 年 AlphaGo 挑战韩国冠军棋手大获全胜。之后,时间来到 20 世纪 90 年代末和 21 世纪初,研究者不满足于专用 AI,因此开发更通用的人工智能系统呼声越来
机器之心
2023/03/29
3130
做完GPT-4完整测评,微软爆火论文称初版AGI就快来了
ChatGPT及大模型技术大会首批嘉宾公布,我们将讨论这些话题
2022 年 11 月末,OpenAI 悄无声息的推出对话式 AI 模型 ChatGPT,让人没想到的是,这个模型一夜之间爆红整个 AI 圈,所到之处,引起一番讨论狂潮。很多人将其形容为一个真正的「六边形战士」:不仅能拿来聊天、搜索、做翻译,还能写故事、写代码、debug……  在推出仅两个月后, ChatGPT 月活用户突破 1 亿,成为史上用户增长速度最快的消费级应用程序。作为对比,根据 Sensor Tower 的数据,TikTok 用了 9 个月,Instagram 则花了 2 年半时间。一位来自瑞
机器之心
2023/03/29
5040
ChatGPT及大模型技术大会首批嘉宾公布,我们将讨论这些话题
谷歌版ChatGPT Bard开放测试!我们已经体验上了
机器之心报道 机器之心编辑部 机器之心已经体验上了Bard。 在 OpenAI GPT-4 发布、微软将 GPT-4 接入 Office 全家桶这样一波碾压后,谷歌也有了新的动作! 刚刚,谷歌宣布正式公开发布其聊天机器人产品 Bard。谷歌表示此举是为了广泛获得来自用户的反馈,以支持其在对话式生成模型赛道上与微软竞争。 据谷歌 CEO 桑达尔·皮查伊的推特,此次开放使用将首先从美国和英国的用户开始 —— 用户可以申请加入 Bard 的候补名单(waitlist)。 此外,Bard 目前仅支持英语,且不具备编
机器之心
2023/03/29
3850
谷歌版ChatGPT Bard开放测试!我们已经体验上了
中文字幕视频:黄仁勋对话OpenAI首席科学家,谈GPT-4及未来大模型
机器之心报道 机器之心编辑部 在今年的 GTC 上,NVIDIA 创始人兼首席执行官黄仁勋与 OpenAI 联合创始人、首席科学家 Ilya Sutskever 进行了一场深度对话,讨论了 GPT-4、ChatGPT 背后的故事,也聊了下深度学习的未来。 如今,OpenAI 可以说是整个 AI 领域最火的研究机构。凭借强大的 GPT-4 以及与微软必应、Office 等产品的融合,这家公司似乎要掀起一场生产力革命。 这一成就是由多方面的力量来驱动的,包括聪明的头脑和强大的基础设施。 在「聪明的头脑」里,I
机器之心
2023/03/29
4710
中文字幕视频:黄仁勋对话OpenAI首席科学家,谈GPT-4及未来大模型
ChatGPT产品潮来了:融入Slack、读PDF,创新不断
机器之心报道 机器之心编辑部 ChatGPT 不只是一场狂欢。 ChatGPT 自发布以来一直受到高度关注,除了本身强大的对话和生成功能,更令人惊喜的是它掀起了一系列应用工具的变革。例如,微软陆续把 ChatGPT 背后的技术集成到必应搜索引擎、低代码应用平台 Power Platform 中,并将很快推出带有类 ChatGPT 功能的 Teams、Word 和 Outlook 等 Office 生产力套件,展示「人工智能如何重塑生产力」。 不只是微软,本周二 SaaS 行业巨头 Salesforce 宣布
机器之心
2023/03/29
8460
ChatGPT产品潮来了:融入Slack、读PDF,创新不断
ChatGPT超级巨大漏洞,能看别人支付聊天内容,OpenAI公布技术细节
机器之心报道 编辑:杜伟、小舟 原来,是缓存问题导致了 ChatGPT 的宕机。 本周早些时候,ChatGPT 宕机数小时。 现在,OpenAI 声明 ChatGPT 的暂时下线是因为开源库中的一个错误,该错误让一些用户能够看到另一个活跃用户聊天记录中的标题。如果两个用户大约同时在线,那么新创建的对话的第一条消息也可能在其他人的聊天记录中可见。OpenAI 表示现已修补这个 bug。 图源:推特 @JordanLWheeler 经过更深入的调查,OpenAI 还发现,在特定的 9 小时窗口内,有 1.2%
机器之心
2023/03/29
1.2K0
ChatGPT超级巨大漏洞,能看别人支付聊天内容,OpenAI公布技术细节
自然语言融入NeRF,给点文字就生成3D图的LERF来了
机器之心报道 编辑:陈萍、小舟 NeRF 大家都很熟悉了,但是你听说过 LERF 吗?本文中,来自 UC 伯克利的研究者将语言嵌入到 NeRF 中,并在 3D 场景中实现灵活的自然语言查询。 NeRF(Neural Radiance Fields)又称神经辐射场,自从被提出以来,火速成为最为热门的研究领域之一,效果非常惊艳。然而,NeRF 的直接输出只是一个彩色的密度场,对研究者来说可用信息很少,缺乏上下文就是需要面对的问题之一,其效果是直接影响了与 3D 场景交互界面的构建。 但自然语言不同,自然语言与
机器之心
2023/03/29
3480
自然语言融入NeRF,给点文字就生成3D图的LERF来了
人大系初创与OpenAI三次“撞车”:类Sora架构一年前已发论文
Sora出世前,他们拿着一篇如今被ICLR 2024接收的论文,十分费劲地为投资人、求知者讲了大半年,却处处碰壁。
量子位
2024/03/07
1470
人大系初创与OpenAI三次“撞车”:类Sora架构一年前已发论文
谷歌的又一波反击!开放大语言模型PaLM API
机器之心报道 编辑:小洲 事到如今,OpenAI 的 ChatGPT 在 AI 社区的统治地位已经无需多言。特别是 OpenAI 开放 ChatGPT 的 API 之后,在开发者社区掌握了极大的话语权。 反观谷歌那边,在第一波发布 Bard 失利之后,一直处于沉默状态。 但在今日,谷歌组织了第二波反击:开放自家的大语言模型 API 「PaLM API」,此外今天谷歌还发布了一款帮助开发者快速构建 AI 程序的工具 MakerSuite。谷歌表示,此举是为了帮助开发者们快速构建生成式 AI 应用。 但略为
机器之心
2023/03/29
4250
谷歌的又一波反击!开放大语言模型PaLM API
Yann LeCun:不在乎社会规范,ChatGPT离真正的人还差得远
选自noemamag.com 机器之心编译 机器之心编辑部 ChatGPT 虽能对答如流、花样百出,但离真正的人还差多远?深度学习三巨头之一的 Yann LeCun 等人撰文,对这一问题进行了深入探讨。 2022年底OpenAI推出ChatGPT,其爆火程度一直持续到今天,这个模型简直就是行走的流量,所到之处必将引起一番讨论狂潮。 各大科技公司、机构、甚至是个人,纷纷加紧研发类ChatGPT产品。与此同时,微软将ChatGPT接入必应,几乎前后脚,谷歌发布Bard为搜索引擎提供动力。英伟达 CEO 黄仁勋对
机器之心
2023/03/29
3390
Yann LeCun:不在乎社会规范,ChatGPT离真正的人还差得远
真·ChatGPT平替:无需显卡,MacBook、树莓派就能运行LLaMA
机器之心报道 编辑:小舟 Meta 发布的开源系列模型 LLaMA,将在开源社区的共同努力下发挥出极大的价值。 Meta 在上个月末发布了一系列开源大模型 ——LLaMA(Large Language Model Meta AI),参数量从 70 亿到 650 亿不等。由于模型参数量较少,只需单张显卡即可运行,LLaMA 因此被称为 ChatGPT 的平替。发布以来,已有多位开发者尝试在自己的设备上运行 LLaMA 模型,并分享经验。 虽然相比于 ChatGPT 等需要大量算力资源的超大规模的语言模型,单张
机器之心
2023/04/06
1.4K0
真·ChatGPT平替:无需显卡,MacBook、树莓派就能运行LLaMA
ChatGPT开源替代来了!参数量200亿,在4300万条指令上微调而成
机器之心报道 编辑:张倩 OpenChatKit 是一个类 ChatGPT 开源工具包,内含一个 20B 参数量的大模型,而且该模型在 4300 万条指令上进行了微调。 2023 年,聊天机器人领域似乎只剩下两个阵营:「OpenAI 的 ChatGPT」和「其他」。 ChatGPT 功能强大,但 OpenAI 不太可能将其开源。「其他」阵营表现欠佳,但不少人都在做开源方面的努力,比如前段时间 Meta 开源的 LLaMA。 除此之外,一个名为 EleutherAI 的开源 AI 研究团队也一直在贡献开源大
机器之心
2023/03/29
5850
ChatGPT开源替代来了!参数量200亿,在4300万条指令上微调而成
微软必应再强化!接入OpenAI DALL·E模型,文字生成图像
机器之心报道 机器之心编辑部 微软必应完善文字生成图像能力,Adobe 今日也发布 Firefly,杀入生成式 AI 这场游戏。 今晚实在是有些热闹。 一边英伟达 GTC 正在进行中,一边谷歌正式开放了 Bard 的测试,这里微软必应也不甘寂寞。 今日,微软正式宣布,必应搜索引擎接入了 OpenAI 的 DALL·E 模型,增加了 AI 生成图像的功能。 也就是说,在接入 ChatGPT 之后,必应再次强化,Bing Image Creator 能够让用户用 DALL·E 模型生成图像。 「对于拥有必
机器之心
2023/03/29
3220
微软必应再强化!接入OpenAI DALL·E模型,文字生成图像
腾讯类ChatGPT保密项目爆出,张正友带队研发「混元助手」
机器之心报道 机器之心编辑部 终于,腾讯的类 ChatGPT 项目「浮出了水面」。 自 ChatGPT 爆火之后,国内众多科技大厂都纷纷跟进,宣布类 ChatGPT 产品研发计划。其中 2 月 9 日,腾讯表示在相关方向上已有布局,专项研究也在有序推进。 我们知道,腾讯在大模型领域的布局早已有之,其「混元」系列 AI 大模型覆盖了 NLP、CV、多模态等基础大模型以及众多行业 / 领域大模型。这成为了腾讯构建类 ChatGPT 产品的坚实技术储备。 昨日,据 36 氪旗下「 职场 Bonus」的报道,腾讯类
机器之心
2023/02/28
2K1
腾讯类ChatGPT保密项目爆出,张正友带队研发「混元助手」
熔岩羊驼LLaVA来了:像GPT-4一样可以看图聊天,无需邀请码,在线可玩
机器之心报道 编辑:赵阳 尽管 LLaVA 是用一个小的多模态指令数据集训练的,但它在一些示例上展示了与多模态模型 GPT-4 非常相似的推理结果。 GPT-4 的识图能力什么时候能上线呢?这个问题目前依然没有答案。 但研究社区已经等不及了,纷纷自己上手 DIY,其中最火的是一个名为 MiniGPT-4 的项目。MiniGPT-4 展示了许多类似于 GPT-4 的能力,例如生成详细的图像描述并从手写草稿创建网站。此外,作者还观察到 MiniGPT-4 的其他新兴能力,包括根据给定的图像创作故事和诗歌,提供
机器之心
2023/05/01
2900
熔岩羊驼LLaVA来了:像GPT-4一样可以看图聊天,无需邀请码,在线可玩
最懂中国传统文化的AI绘画模型,画作有形更有神,传达儒释道思想
最近 AI 作画火爆出圈,国内外掀起了一波 AI 绘画热潮,各种社交媒体上用 AI 绘画模型生成的各种图片屡见不鲜。上个月,一位游戏设计师用 AI 作画工具 Midjourney(中途)创作的作品《太空歌剧院》获得了美国科罗拉多州博览会艺术比赛的金奖。
机器之心
2022/12/15
4530
最懂中国传统文化的AI绘画模型,画作有形更有神,传达儒释道思想
推荐阅读
OpenAI重磅研究:ChatGPT可能影响80%工作岗位,收入越高影响越大
3140
率先开放语音、视频等多模态对话能力,这家中国公司又比OpenAI走快了一步
3610
独家 | 多模态大模型初创企业“智子引擎”,近日完成千万元天使轮融资
6480
人大高瓴人工智能学院Nature子刊:尝试利用多模态基础模型迈向通用人工智能
6480
做完GPT-4完整测评,微软爆火论文称初版AGI就快来了
3130
ChatGPT及大模型技术大会首批嘉宾公布,我们将讨论这些话题
5040
谷歌版ChatGPT Bard开放测试!我们已经体验上了
3850
中文字幕视频:黄仁勋对话OpenAI首席科学家,谈GPT-4及未来大模型
4710
ChatGPT产品潮来了:融入Slack、读PDF,创新不断
8460
ChatGPT超级巨大漏洞,能看别人支付聊天内容,OpenAI公布技术细节
1.2K0
自然语言融入NeRF,给点文字就生成3D图的LERF来了
3480
人大系初创与OpenAI三次“撞车”:类Sora架构一年前已发论文
1470
谷歌的又一波反击!开放大语言模型PaLM API
4250
Yann LeCun:不在乎社会规范,ChatGPT离真正的人还差得远
3390
真·ChatGPT平替:无需显卡,MacBook、树莓派就能运行LLaMA
1.4K0
ChatGPT开源替代来了!参数量200亿,在4300万条指令上微调而成
5850
微软必应再强化!接入OpenAI DALL·E模型,文字生成图像
3220
腾讯类ChatGPT保密项目爆出,张正友带队研发「混元助手」
2K1
熔岩羊驼LLaVA来了:像GPT-4一样可以看图聊天,无需邀请码,在线可玩
2900
最懂中国传统文化的AI绘画模型,画作有形更有神,传达儒释道思想
4530
相关推荐
OpenAI重磅研究:ChatGPT可能影响80%工作岗位,收入越高影响越大
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档