使用R语言读取PUBMED存入MYSQL数据库

用户1075469

发布于 2020-03-03 11:32:39

3.4K0

发布于 2020-03-03 11:32:39

文章被收录于专栏：科技记者

最近，在科研狗网站看到了一个有趣的项目，使用R语言读取pubmed存入mysql数据库，之前报名没有报上，还是决心要跟着做一下，无奈R语言水平比较渣渣，只能复制别人的代码来用，悲剧的是，原代码复制过来还是报错，来一个小目标，把这段代码运行起来。花了两三天的功夫，终于实现了目标。

原代码参考自R科研作图学习小组组长：木萱小主的作业： http://group.keyangou.com/RGraph/topic/952

这个项目的难点在于要用R语言和MySQL数据库，两者都是初学，加大了难度，搞不定R函数。首先这个任务的准备工作是安装数据库和phpmyadmin（当然这只是一个选项，还有好多的图形数据库管理软件，据说大牛都是命令行操作的），这个不表。

主要步骤就是第一，用你要查询的关键词或条件获得pubmed-id，标题和摘要，然后格式化一下，放入数据库。代码如下：

library(RISmed)

cell2017<-EUtilsSummary("cell[TA] AND 2017[DP]")

data<-QueryId(cell2017)

data #获得全部的ID

pmids<-paste(data,sep = "",collapse=",")

#pmids

library(RMySQL)

library(xml2)

library(httr)

postFetchUrl<-'https://eutils.ncbi.nlm.nih.gov/entrez/eutils/efetch.fcgi?'

r2 <- POST(postFetchUrl,body = list(db='pubmed',id=pmids,retmode='xml'))

stop_for_status(r2)

data2=content(r2, "parsed")

article=xml_children(data2)

count=length(article)

cnt=1

a<-list()

b<-list()

while(cnt<=count){title=xml_find_first(article[cnt],".//ArticleTitle")

abstract=xml_find_first(article[cnt],".//AbstractText")

#write.table(xml_text(title),file='a.txt', row.names=F,quote=F,append=T)

a<-c(a,xml_text(title))

#write.table(print(xml_text(abstract)),file='b.txt',row.names=F,quote=F,append=T)

b<-c(b,xml_text(abstract))

#break

cnt = cnt + 1

pmid<-data

title=a

abstract<-b

title = gsub("'","",title)

abstract = gsub("'","",abstract)

article<-data.frame(pmid,title,abstract)

con<-dbConnect(MySQL(),host="127.0.0.1",dbname="rdb",user="root",password="")

dbSendQuery(con,'SET NAMES utf8')

dbWriteTable(con,"article",article,append=TRUE)

dbDisconnect(con)

用另外一种解决方法，不用RISmed包，用httpr包，也能运行，但是到第6行就会报错，只好作罢。不管怎样，上边那个方法是最简单的，用做实际应用足够了。

这里还要补充一下，如果边数据库次数太多而没有关闭会报错，有个哥们定义的函数很有用，一起放这。

#数据库连接删除函数，每个任务之前最好先清理所有的连接，调用此函数就可以

killDbConnections <- function () {

  all_cons <- dbListConnections(MySQL())

  print(all_cons)

  for(con in all_cons)

      dbDisconnect(con)

  print(paste(length(all_cons), " connections killed."))

killDbConnections()

代码github地址：https://github.com/zd200572/R/blob/master/科研狗

本文参与腾讯云自媒体同步曝光计划，分享自微信公众号。

原始发表：2018-03-17，如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自科技记者微信公众号，前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

登录后参与评论

0 条评论

热度