00:00
大家好,欢迎欢迎大家来到今天晚上的动手开发科研智能体的课程,然后我是来自绅世科技的林航,嗯,今天讨论课上想先和大家分享我们最近在做的事情,就是由波尔和Sam masterster推出的智能体开发套件。在这个大模型科研A的爆发的时代,科研工具和科研范式正在发生根本性的变化,很多时候,当我们大家想做为一个科研智能体的时候,从想法到实验再到工具,中间可能需要无数的平台或者系统,或者学习的成本,然后很多成果可能还没被看见的时候就已经被卡在了就是说这些繁杂的系统之间,于是我们就想推出这个智能体的开发套件,我们希望它成为科研人自己的A整工具箱,帮你把成果打包成会说话、能协作的智能体,与你一起将成果带给全世界。上面是我的一些分享,然后。
01:00
接下来进入到今天的正题,也就是我们的新企划叫做嗯,Sam masterer和他的朋朋友们,这些朋友呢,就是来自于嗯第一阶段非常多优秀的选手的开发故事分享,然后我们希望在他分享结束过后,大家可以大胆的开麦,对吧,然后提出大家自己对A选的技术的疑问,或者一些需求,和真正的开发者面对面的交流,然后我们也能够帮助选手去迭代和优化产品。总而言之,这是一个圆桌会议,对吧,也是一种新的尝试形式,然后我们希望大家积极讨论,活跃起来,然后下面我们请凯里老师做做第一组展示,就是呃,就是简单讲一下,大概花个呃9分钟到10分钟的时间分享我这个项目,呃然后对我们这个项目的叫做呃,Paper read, 让科研论文更容易读懂,呃然后呃其实的话,呃嗯这个项目的话,一个缘起是怎么样呢?我今天的一个分享的题目在海报里就是说这个项目的缘起和一个初心,就是说呃呃其实是呃对我来说的话,我一直是想做一个科研的方面的工作,但是由于呃种种原因,我后来呃没有研究生,没有读那个理工科,那个ste emm专业,我读的是一个呃双科的专业,就是一个工商管理的硕士MBA,但是呢,后来好巧不巧,呃,被我遇。
02:27
到了我们那个上海交通大学的一个学弟啊,也就是说小我17年到18年入学的一个学弟,叫做刘静帆老师,对他很有想法的一个老师,他就想出来了一个东西,就是说他们计算机专业每次读论文都要把论文和代码一起去,那个读的话会有一个问题,就是说专业术语实在太多了,然后包括论文和代码这两个东西是割裂的,很难对的上来,然后包括一些就是说信息的是碎片化的,然后和前沿的观点没有办法去。有一个就是说一个summary这种东西,然后那怎么办呢?就是说他这边就列举了一个,就是说以前读完一篇论文至少要两小时吧,我觉得这两小时都是少的,两小时能读完一篇论文很了不起了,也是简单的论文,然后我们把两小时压缩成20分钟,理解度能拉到90%,就是说我们把这个信息浓缩,无用的信息全部去掉,然后代码和论文完全对上,就是我们一个那个科研智能体的一个初心。
03:27
诶,然后其实我们这个科研智能体一开始是功能没有这么完备的,就是说我们其实和那个另外一组,就是说今天可能也会分享的一个叫做paper to code, 呃是蛮像的,但是后来的话,我跟他们说,就说我们不能跟人家做的一样,就是后来我们就想了想,就是说我们做一个,呃,不但是论文和代码相结合的,更加是要连一个外部知识库这样子一个东西,然后使得那个整个的一个功能上面写的更完整,而且也跟人家没有雷同这种啊,而且我们做的是其实代码解读用的那个技术站,其实是用cloud code deerer这个这种技术站去解读这个代码,不是说是生成代码这种,就是我觉得是这是一个更好的方向,然后它其实很方便,就是说我们的智能体型上线了,也呃也被一些用户使用,就是说它其实是直接上传BDF链接,或者说说是那个a rxi BI ID就可以了,然后代码库的话是p top链接,或者说是一些别的格式也是可以的啊,然后。
04:27
话,我们的项目架构我就简单讲讲,就是说其实我们这个项目架构的话,在上次的那个答辩当中其实也讲过一遍了,就是说它其实是一个呃论文转,呃首先是PDF转text的这样子一个过程,呃为什么要用PDF转text的,就是说text这个这个东西大家写数学论文的人可能就是知道的比较多,或者说写理工科论文的人可能对这个比较熟悉,对T的话是理科博士是呃那个麻省理工学院的著名的一个计算机学教授,呃他写过计算机编程的科学与艺术这本书,他就是克鲁斯,克鲁斯他是图林鸟获得者,他把那个那个就是什么text这个规范提出来以后,就是说我们平时写论文就相当方便了,按那个语法来嘛,呃那个包括了T,对,然后他转成text以后,就就很好的能够有一个那个格式,我们就可以处理它了,处理它以后呢,我们就根据提取论文,然后把论文的summary啊,代码项目啊,就基于cloud课去阅读理。
05:27
解,然后包括代码的一个知识库,项目架构,拈块清单,数据流代码及核心算法等等,然后还会提取关键词,提取论文的关键词,然后就是去搜索相关的一个外链,然后论文的相关外链呢,我们还手动的补充,然后从整合和重排,最后通过外部知识库的方式,就是把这个东西都整合到一起,然后最终是输出的东西是一个博客,呃,就是一个技术博客,对block,然后这样子,诶我们前置数据是如何获取的呢?那我们前置数据是这样子的,我们前置数据是通过论文的链接的形式去获取的,你只要把那个PDF的链接直接甩一个那个ARXIV的链接过来就行了,然后它会转成texti,然后那个论务代码的链接的话,你只要给点get topb链接就可以,因为呃这个GI topb呢,就是这样子的,我们你看我们想想看能不能支持一下国产的GT,然后因为呃gith up这个话还要翻墙,对,如果你的代码库是在gith upb上的话,是很方便的,目前是只支持gith up, 但是GT的话,我们后面想想看能不能。
06:27
支持一下,然后为什么论文要转成了ta克,不是马克down呢?马克当不是也是一个很好的格式吗?The attack克,因为它支持复杂的公式,而且LMM的输出就是那个非常的稳定啊。然后的话,这个就随便讲讲,就是说基于论文索引的项目,深度理解,其就是deep percent research, 对,而是说论文的摘要的话,我们是一个输入,然后包括论文的架构,然后拈块输入,输出关系,然后核心算法流程等等,然后它会分几个阶段嘛,这个我们就不细讲这个东西,因为上次的话其实已经在那个答辩的过程当中细讲过了。然后输出的是什么呢?就是代码知的的一个知识的输出,然后包括系统架构、模块形态、数据流、核心算法的一个过程,然后系统架构图的话,也会有一个输出,包括可视化的图表,ULUML的组件图、流程图、依赖图等等模块的一个说明手册,包括详细的表格和列表,还有数据流变签文档,还有带编号和布局的流程表格。
07:27
或带有数据类型,数据形状,操作数据的函数和函数参数和核心算法的一个实现分析,就是文字段落叙述,可配代码片段,对,下面其实就是一个主英文的这种就属于属于是一个呃,Deeper search的一个东西,然后后面的话,其实呃很快的就是说一个是针对论文的深度搜索器,然后就是说呃论文的话会提炼出一个关键词,然后论文题目啊,方法简称啊,术语啊,核心的一个过程关键词,然后会进行筛选和去除,冗于此,然后这样的话就是呃怎么用呢?就是说整个结构化的知识库,然后通过外部的链接,然后外部知识库去重,然后结构重排,最后的话就是呃变成一个结构化的外部知识库。
08:12
然后下面的话我会稍微快点过,然后我们稍微谈谈,最后我们稍微谈谈我们项目遇到的一些困难和我们将来的一个发展方向,然后就是说基于deep research的论文解说器的话,呃,它是这样子的一个原理,就是一个架构,是我们这样子,嗯,几个技术人员一起商量出来的,就是论文原文,还有一个代码的知识库,还有一个外部的知识库,其实也就是前面说的,然后通过agent的形式去把它生成一个那个结构化的报告,然后是通过deeper research, 然后那个有那个动机啊,背景啊,同类方法的优劣啊,解决的问题啊,方法实件结论,这其实就是写论文的一个目录了,然后通过那个论文解说器的规则,将数据流算法解释为代码就插进去,然后代码级的框架图和论文的框架图融合,呃,但位介绍使用的术语进行一个就是介绍嘛,然后将他人的论文的评论插入到一个对应的位置,其实这就是一个那个基于模板的强可读性的渲染器,就是说我这边其实已经放了一个。
09:12
我们运行,呃在波尔平台上运行的一个结果的HTML,就是说我们一个经典的论文,好像呃叫做scaling up capacityas and resolution, 对,就是这个经典的论文,然后是我说它经典是话,它本身也经典,然后也是被我们经常用来做DEMO,然后结构化的报告和那个结构切片的话,然后结构元素,包括一个可读性像的报告,这些都是前端的东西,没有什么可说的。呃,最后的话是一个演示视频,我其实之前放过,对,呃,我感觉还有还有什么没了,就这个,也就是我之前放过,我们简单放一下吧,这就是我们的一个项目,对,呃,这就是我们那个项目的一个DEMO,呃,这个这个是在波尔平台上的一个DEMO,呃是在我们项目,呃上线前的最后一版的那个,相当于是呃,一个我们运行成功了以后,我们才那个上线的就是我们的天视,还遇到了一个小小的问题,就是说呃,那个霍尔平台的网络不是特别稳定,可能有时候会断,然后其实后来查杀的原因倒也不是跟霍。
10:12
平台有关,主要是那个我们这边的一个API和那个Bo尔平台这边还不不是很匹配,反正就是我们后来就是解决了这个问题,就是我们团技术团队都解决了这个问题,然后也很感谢那个咱们绅世科技的技术团队的老师帮我们答疑解惑,然后可以跟大家分享一个经验,就是你遇到网络段或者任何报错的话,我们其实是有一个日志可以查的,就是我们去通过平时那种工作中这种查日志的方式,我们可以进行排错,然后基本上呃,我的分享呢,就说我正儿八经的分享呢,呃,就差不多了,然后我再花个两分钟时间啊,稍微讲一讲,就是说我们对这个比赛的一个期待和我们后续的一个方向吧,呃,然后我们对这个比赛的期待,其实就是能够提高我们团队呃的一个凝聚力,以及我们团队里面对于这个智能体的理解,和我们做科研智能体的一个初心,呃,把科研智能体做好做出来,然后我们能提高自己的技术水平。
11:12
也提高一些商业的感觉就是呃,反正就是支持绅士科技这边呢,推广它的一个布尔平台,然后同时也推广我们自己的项目,就是自己的小项目,这个fast paperper readid, 这是我们的一个呃,目的和初心,呃,然后呃,呃,最后的话还有一分钟时间,我跟大家分享一个冷知识,呃,我可能在群里面也比较活跃,呃,那么我今天就分享一个冷知识,大家知道agent特的历史嘛,就是说我这个人很喜欢考古了,就是说agent特的话,他最早的一个现代的概念是由人工智能学者,也是好像MIT的一个老师,叫做马文明斯基,Marvin misin斯kki提出,他在1986年出版的思维的社会艺术中,把思维看作由大量互相作用的智能体构成的复杂系统,这些能够通过协商解决问题的个体就是agent,而且agent应具有社会交互性和智能性,你发现吗?他牛逼吧,他在那个1986年其实就有了那个MCP的概念,对吧,然后agent的概念其实最早。
12:12
早可以追溯到哲学领域,这就不多说了,下次我在群里面发给大家看,就是说康德他们都提出过那个什么agent这个概念啊,算了,就这样吧,我的分享就到这里,感谢大家,就是说今天能来这个地方听我讲,包括林航老师这个组织的这个活动非常好,好的我的分享就到这里,哎,林航老师我了,嗯,大家有什么问题吗?可以直接开麦说,毕竟我们就是一个圆桌,对吧,我们欢迎大家,对,我们是个panel,就是说我今天会负责回答这个问题,如果我回答不出来也没关系,我们我们团队里面有技术专家,一个是刘静帆老师,他今天好像没来,不过没关系,我到时候可以转达一下大家的问题,我到时候在群里面回答大家,或者说还有一个老师,其实快要来了,呃,那个就是我的那个合伙人,呃,那个Alan邓伟老师,他马上就要来了,然后大家有问题先问。
13:12
我好像无所谓的,可以问技术问题,也可以问我们这个东西是干嘛的,我的初心是什么,然后也可以实在没问题的话找我闲聊也是可以的,问一些跟比赛有关的问题都可以,如果没有的话,也可以这样子,我们先到下一组,然后我们到最后的时候,不是还有个讨论环节,大家可以一起讨论,也是新的啊,有人吗?李老师,你有问题吗?学生问我也有个小问题,就是你在我刘老师是吗?对,刘老师吧,对对对对,刘师在可可能在您做开始做这个项目的时候,就已经有这些research的agent,可能也能够比较好的去分析这些paper,那您觉得在当时再重新做一个这样的fast paper read, 可能会给大家带来一个什么样的改变呢?哦,您说是说已经有deep research这个东西了,就是说我们这个fast paper read的话是有什么增量的价值是吗?是这个意思,对吧,对吧,对吧?哎,对,就是这样的,呃,其实的话,呃,Deep research也是可以解决这个问题了,您说的没错,呃,我们的价值呢,也不是很高,但是我们有一个,呃,就是稍微有一个小的那个点,就是说我们其实有那个,呃,那个外部知识库这个东西,对哦,O oko OK, 然后我们又结合了这个deeper search本身的这个能力,然后我们又是说是把这个产品的前端做出来了,然后整个的一个东西就是说为的。
14:38
是大家能够读论文的时候稍微方便一点,对,然后我们是这么想的,但是我们可能就是想法还比较幼稚,就是说还不完善,但是后面的话,我们有一个优化的东西,就是说是什么呢?就是上次你们给我们提的意见,就是说千人千面,就是我们多加一个参数,就是说他要解读论文的时候要什么风格,就类似于以前你知道吗?就是那个B,你知道吗?B是那个微软的搜索引擎,也是一个大模型,他当时会问你,就是说你要得到的回答是怎样一个风格,是那个最准确的呢?还是有创意的呢?还是中性的呢?就是说我们也也会设置这么一个参数,就是我们下一步的研究方向,但是要等我的团队的那个技术人员他们再探讨一下,呃,就是说这个我觉得也是很有价值啊,OK, 然后我也看到评论区有一位同学问,就是在网上也看到过其他的论文阅读器,这个项目和他们最核心的区别是什么?
15:30
这位同节也可以开麦,就是说一声是哪位什么老,您可以看一下评论区有等经发几个问题哦,我看我看了,我看等我一下那个等会我这个我刚开始视频,我来他说是rarwn文同学是吧,然后他请教一下,网上看到过其他的论文阅读题,呃这个项目跟他们的区别是什么呢?啊区别肯定是有的,不可能一点区别都没有,然后就是说呃,论文的阅读器也分那个不同的那个种类,就是说很有种论文阅读器,包括通用的大模型,我们跟它有什么区别呢?就是说我们这个其实是专注于,其实目前是专注于计算机科学领域的,然后然后是读计算机方面的论文,可能会效果会稍微好一点,然后呃,就是说有一个呃,那个所谓的一个代码解读的功能,就是说这个功能,其实我觉得呃,除了后面做的一些项目,其实很以前很早以前是没有这个东西的,就是说。
16:30
怎么去有这个论文是paper to code的,但是没有这个智能题做出来,就是说把那个论文和那个原文去对应,去生成我们这个包括很多的图表,包括很多的算法的解读,这个是没有的,然后那个我是这么理解的,有可能是可能我也不知道,但是很强大的大模型出来的话,可能会替代我们这个东西,但是没关系,我们是作为一个过渡的,然后我们其实自己也会迭代的那个去那个升级我们的各种功能,把它加上去嘛,呃,我我是这么理解的啊,作为一个比赛的DEMO,呃,然后或者说是我们自己小的一个创业项目,那么我们是其实是先做一个,就说是那个可用的东西出来,然后给大家看看,大家就像你今天提的意见嘛,那么我们可能就是说根据你的意见,我们再去改嘛,对吧,我们下面就还有一个问题,还一个就说PDF转T的精确性如何保证啊,对这个精确性的话,呃,其实我也不知道如何保证,然后那个呃是这样子的,就是说精确性的话,我可能要问一下我们的技术的那个刘静帆那边。
17:30
就是说它其实是有办法保证,就是说呃那个它首先提取的是一个呃摘要的东西,反正就是不是说马上就直接是text,然后反正就是最终是把它转成text的格式,然后是调了一个呃,就是还我们还付钱的一个接口,那个接口是比较准确和稳定的,然后我们目前看来,我们就是说,就是说我们做的几个例子的话,就是说我们经典的那个,就是我经常放进去的那个DEMO是没有问题,然后呃包括后来有几个用户,他们也呃也就是用了我们的产品,就是免费用嘛,他们也那个把PDF转text,至少是能转,然后呃能转,然后就是说图图表和公式都是能转的,但是你是您说的那个准确性的话,就是说我觉得是还是我们一个提高的点,因为呃,呃,就是说为什么呢,特别复杂的公式,或者说是公式欠图表,图表欠公式,这种可能会有问题,我觉得就是您这个问题提的很好。
18:23
然后下面的话,一个有一个很好的那个老师,叫做呃,张万娜老师是吧,他说有必要重新训练大模型吗?比如Deeps sick一类,还是直接调用,哎,我就是我们是用那个,我们其实是呃在那个代码的处理阶段,是用了世界上呃代码,呃最牛逼的一个公司as topics的,就是他们那个cloud code的这个就是说是那个模型,然后去处理我们这个代码的部分,对,就是说我觉得的话,应该就是说没有必要重新训练大魔想比如D不是平,就直接调用吧,直接调用吧,我觉得那个答案是直接调用。
19:01
非常感谢凯瑞老师的分享,我们先往下推推吧,然后后面大家有什么问题,凯瑞老师可以在评论区直接回答,然后我们就呃,有请下一句。
我来说两句