前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >什么是大模型的插件?以及如何使用?

什么是大模型的插件?以及如何使用?

作者头像
产品言语
发布2024-02-17 16:02:42
2K0
发布2024-02-17 16:02:42
举报
文章被收录于专栏:产品笔记

01—大模型插件是什么?

插件是将大模型连接到第三方应用,大模型作为大脑,插件是大模型的耳、目、手,可以帮助大模型丰富大模型的能力和扩展应用场景,完成大模型生成能力无法完成的任务。

  • 信息增强插件:可以帮助用户获取实时信息和专业信息,如股票价格、最新新闻等。
  • 服务增强插件:可以帮助用户自动化执行一些常见的任务,如预订航班、订餐等;
  • 交互增强插件:可以读取知识库、PDF、图片、语音等多模态的输入,以及生成表格、思维导图等多模态输出

通过插件赋能关键领域及丰富大模型能力

插件为改善AI产品的使用体验,专注小的场景诉求,让大模型应用能力与外部应用相结合,丰富大模型的能力和应用场景,利用大模型的能力完成此前无法完成的任务。

ChatGPT在通过插件提升生产力方面,主要通过引入外部插件,丰富ChatGPT的数据获取和进行能力扩展。ChatGPT的AI PDF、AskTheCode、WebPilot等插件帮助用户在和大模型沟通中获取实时数据或专业数据。

【自建插件】最初ChatGPT的DALL·E、Web browsing、Data Analysis 等作为插件使用,在后续的发展中逐步融入到ChatGPT中。

【三方插件】通过安装使用三方插件,并通过TOP30推荐热门插件以及最新插件产品策略引导用户使用。

文心一言采用自建+引入三方的方式进行大模型数据能力的扩展和应用场景的丰富,如百度的AI PPT、商业信息查询、百科、学术检索等扩展数据范围和提供创作增强。

【自建插件】百度自建插件结合百度内部的技术和数据优势进行搭建:

  • E言易图:Apache Echarts为百度开发的开源可视化库,用于创建交互式图表和数据可视化;
  • 百度学术检索助手、百科同学:利用百度学术、百度百科的数据进行内容的检索,获取实时信息和拓展数据范围;

【三方插件】按照不同功能进行分类,如信息助理、信息查询、效率提升、创作增强等。

ChatGPT和文心一言自建插件的相同点:自建实时信息检索、数据分析、AI绘画等插件

【可能原因】

  • 大模型使用的历史数据的信息进行训练,自建实时信息检索可以帮助用户获取更具时效性和专业性信息。
  • 数据分析插件可以增强大模型的功能性,可以让大模型执行复杂的数据处理和分析任务,从而提升用户的工作效率。对于工作和学习的用户来说,数据分析可以作为一个实用的工具。
  • AI绘画集成可以扩大大模型的应用范围,使其不仅限于文字处理和对话管理,增强创造性表达,提高交互体验,使大模型成为一个全面和多元化的工具。

02—插件如何使用?

文心一言插件如何使用:

文心一言可以选择1~3个插件进行使用。

插件调用流程:

  • 插件注册:将插件的Manifest文还能注册到文心一言,Manifest文件中主要包含:
    • 插件名称:模型中使用,如商业信息查询、AIPPT.cn等;
    • 插件描述:描述插件的核心能力,使用场景等,用于模型参考解析是否触发插件;
    • API、插件类型;
  • 插件解析:文心一言插件系统触发解析模块,将用户识别query,并根据Manifest文件中插件API接口和参数的自然语言来选择什么样的插件,以及生成调用插件的API;
  • 插件触发:使用生成的API,来调用插件,插件服务完成处理后,返回json数据再由文心一言处理。

ChatGPT插件使用:

ChatGPT也可以选择1~3个插件。

插件调用流程:

  • 注册插件:对一个多多个API端口进行注册,并创建清单文件,清单文件中包含:
    • 插件的名称、Logo、身份验证;
    • 端口的API及自然语言描述;
  • 插件调用:根据给定API的规范以及何时使用API的自然语言描述,模型会自动调用API来执行操作。

目前插件的使用是用户主动去选择3个去使用选择后模型进行自动调度,而当插件越来越多时存在的问题,用户在使用的过程中很难想要去调用特定插件,以及插件太多不知道选择哪个。

03—插件的多轮对话如何实现?

文心一言插件多轮对话方案:

  • 插件为注册的API接口,主要接收文心一言生成API的调用返回结果并再有文心一言汇总处理;
  • 插件的上下文由文心一言统一进行管理;
  • 文心一言对多轮对话的语义进行理解,在调用插件时生成调用插件的API接口中包含上下文语义,插件根据接口请求返回内容;

示例流程:

  1. 腾讯:请求文心一言生成;
  2. 注册资金:请求商业信息插件,并将上下文中的腾讯传入插件;
  3. 画一个脑图介绍一下:请求TreeMind树图,并将上下文中的腾讯传入插件;

ChatGPT插件多轮对话方案:

  • ChatGPT对于插件的调用白盒化;
  • ChatGPT根据用户的输入进行上下文的理解,根据用户的输入自动调用需要的插件,并根据整理后信息发起请求。

示例流程:

  1. 介绍一下新能源汽车的相关知识:请求ChatGPT
  2. 根据上面的信息画一个脑图:请求Ai Diagrams

大模型相当于智能API的调用者,插件为注册的API接口,插件的上下文统一由大模型进行管理,大模型根据用户的提问进行解析调用哪个插件,并根据上下文内容进行理解智能生成请求的相关内容。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2024-01-31,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 产品言语 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 01—大模型插件是什么?
  • 通过插件赋能关键领域及丰富大模型能力
  • 02—插件如何使用?
  • 03—插件的多轮对话如何实现?
相关产品与服务
多因子身份认证
多因子身份认证(Multi-factor Authentication Service,MFAS)的目的是建立一个多层次的防御体系,通过结合两种或三种认证因子(基于记忆的/基于持有物的/基于生物特征的认证因子)验证访问者的身份,使系统或资源更加安全。攻击者即使破解单一因子(如口令、人脸),应用的安全依然可以得到保障。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档