比如这篇Published: 12 March 2019的文章:Identification of Key Long Non-Coding RNAs in the Pathology of Alzheimer’s Disease and their Functions Based on Genome-Wide Associations Study, Microarray, and RNA-seq Data 就采取了挖掘RNA-seq这样的测序数据的策略。
GEO 数据库全称是 Gene Expression Omnibus,是由美国国立生物技术信息中心NCBI 创建并维护的基因表达数据库。它收录了世界各国研究机构提交的高通量基因表达数据,目前已经发表的论文中涉及到的基因表达检测的数据可以通过这个数据库中找到,并且免费提供下载,对科研人来说真是非常友好的存在。
GEO数据库全称GENE EXPRESSION OMNIBUS,是由美国国立生物技术信息中心NCBI创建并维护的基因表达数据库。它创建于2000年,收录了世界各国研究机构提交的高通量基因表达数据,也就是说只要是目前已经发表的论文,论文中涉及到的基因表达检测的数据都可以通过这个数据库中找到。 这个数据库应该是生物信息入门学习挖掘的数据库,发文量每年估计有数千篇吧,GEO上面的测序文件非常丰富,肿瘤,非肿瘤的等等几乎都有,并且可以免费挖掘。关于这个数据库的介绍网上非常多,我就不赘述了。有兴趣的可以取生信技能树上面看看。
解决方式也简单,加上代码:options( 'download.file.method.GEOquery' = 'libcurl' ) 即可!
通过前面的讲解,我们顺利的了解了GEO数据库以及如何下载其数据,得到我们想要的表达矩阵,也学会了两个常用的套路分析得到的表达矩阵,就是GSEA分析和差异分析。也通过超几何分布检验的方法成功的理解了我们的统计学显著的差异表达基因的生物学功能。包括 GO/KEGG数据库 以及 Reactome和Msigdb数据库的理解。 历史目录: 解读GEO数据存放规律及下载,一文就够 解读SRA数据库规律一文就够 从GEO数据库下载得到表达矩阵 一文就够 GSEA分析一文就够(单机版+R语言版) 根据分组信息做差异分析-
其实每一张热图后面都对应一个表达矩阵。如上图所示,每一行是一个基因,每一列是一个样本。每一个小的色块,就是这个基因在这个样本中的表达量。只是这里用颜色的深浅来表示基因表达值的高低而已,颜色越红,表达值越高。颜色越蓝表达值越低。
各位科研芝士的小伙伴,TCGA、GEO数据库的挖掘现如今已经十分火爆。不可否认,现如今各种培训层出不穷,几乎都是给你一个代码让你去跑,却并没有让你真正懂其精髓。今天我们一文帮助大家学习GEO数据库中的一个难点:两套GEO数据集如何合并获得一个更大的表达矩阵。今天我们就攻下这个高地。
本地版:https://bitbucket.org/Luisa_amaral/bart
当时那篇文章的研究者关注的是差异表达,根据阈值筛选后总共是 15 differential miRNAs and 372 differential mRNAs ,很简单,表达矩阵的差异分析策略我们多次讲解了。走标准分析流程,火山图,热图,GO/KEGG数据库注释等等。这些流程的视频教程都在B站和GitHub了,目录如下:
但是它并不提供芯片探针的ID注释,当然,缺陷实在是有点多,只能说是一个好的学习shiny网页工具制作的例子,并不算是完善的工具。
移动互联网中基于位置信息的服务(Location Based Service,LBS)越来越重要。但是,目前位置信息的使用过程中存在诸多挑战如相邻计算不准确等。由于经常面对海量数据请求,通常位置服务的计算都需要数据库来完成,Redis Geo模块因此而生,旨在提供精准而且稳定的位置服务 在位置服务的挑战中,常见的是计算两个位置是否相邻的问题。位置信息由一个四元组构成,(经度、纬度、海拔、时间),在使用过程中比较常用的是经纬度。想要进行相邻计算,需要一个二维索引。问题是现有的基于简单的一维索引和划范围搜索实现
前面我在生信技能树分享过 批量cox生存分析结果也可以火山图可视化 介绍了火山图的基础认识,同时也给了大家代码可以批量做cox分析,并且绘制出来火山图。 最近看到一个文献,是数据集:https://w
有意思哦,懒得费口水,直接把这个东西拉黑了,耳根清净。咱清清白白写教程,分享笔记,不怕这些牛鬼蛇神!我们的粉丝肯定是都懂搜索:
今天我们接着讲绘制热图时候的一个小技巧,如何显示样本的类型。我们经常还在文章中看到类似下面这样的热图。会在列的上方用颜色标注样本的类型。这样可以一目了然的看出找到的差异表达基因能否很好的将不同类型的样本区分开。今天我们就来用R代码来实现。
比如发表在 January 2019, https://doi.org/10.1002/1878-0261.12446 文章:Expression of long non‐coding RNA ENSG00000226738 (LncKLHDC7B) is enriched in the immunomodulatory triple‐negative breast cancer subtype and its alteration promotes cell migration, invasion, and resistance to cell death ,而且作者还实验验证了LncKLHDC7B (ENSG00000226738) 及其临近基因KLHDC7B的功能。
虽然一直演示的表达芯片数据分析,这些芯片分析难点主要是在ID转换,因为不同公司设计的探针命名都不一样,在我4年前博客整理的芯片平台对应R包找:(16)芯片探针与基因的对应关系-生信菜鸟团博客2周年精选文章集
在移动互联网如火如荼的今天,各种 LBS(Location Based Service,基于地理位置服务)应用遍地开花,其核心要素是利用定位技术获取当前移动设备(手机)所在的位置,然后通过移动互联网获取与当前位置相关的资源和信息,典型的 LBS 应用比如高德地图定位当前位置和附近的建筑、微信查找附近的人、陌陌等陌生人社交应用、滴滴打车查询附近的车、大众点评查找附近的餐馆等等,今天学院君将带领大家来探究类似的「查找附近 XXX」的功能是如何实现的。
今天我们接着来聊heatmap这个函数绘制热图,这次我们使用gplots这个R包里面的配色方案
本文属于转录组入门系列(RAN-seq基础入门传送门 http://www.biotrainee.com/thread-1750-1-1.html )第2部分内容,以一篇Nature文章为例,详细解读如何从NCBI下载高通量测序数据。 文章 AKAP95 regulates splicing through scaffolding RNAs and RNA processing factors. Nat Commun 2016 Nov 8;7:13347. PMID: 27824034 数据 根据文章中的提
就应该会纳闷,为什么拿到了差异基因并且注释后就结束了,明明大量的数据挖掘文章都有一个网络图并且找hub基因啊!
比如拿某一组的样本与剩余其它组所有样本进行比较,这样的差异分析策略还是蛮流行的!我前面在生信技能树也写过教程:如果你的分组比较多,差异分析策略有哪些?
前面我们提到过表达芯片探针注释的3种方法,参见:第一个万能芯片探针ID注释平台R包, 并且帮助大家搞定了第一种bioconductor包的方法,大家无需下载几十个bioconductor包,然后自己一个个提取基因信息,我全部为大家做好啦,也就是 idmap1 这个目前host在GitHub的R包:
ceRNA-芯片,其实就是大杂烩,包含了mRNA、lncRNA、circRNA的基因芯片,可同时获得这三个层面的表达数据,同时作为lncRNA和circRNA两种非编码RNA调控功能研究的利器。
这里我们一起读文献:Circular RNAs expression profiles in plasma exosomes from early‐stage lung adenocarcinoma and the potential biomarkers 来看看cirRNA-seq分析的一般流程。
另外,最近几期有关挖掘GEO速成SCI文章的系列教程中,先是讲解了一些基本概念、数据库的构成,以及如何从GEO中快速锁定自己想要的目标数据。在获得数据之后,后续的分析过程同样也要借助R语言来实现。
我最早接触的高通量数据就是RNA-seq,后来接触的也基本是高通量测序结果而不是芯片数据,因此我从来没有分析过一次芯片数据,而最近有一个学员在看生信技能树在腾讯课堂发布的课程GEO数据库表达芯片处理之R语言流程(阅读原文购买)遇到了问题问我请教,为了解决这个问题,我花了一个晚上时间学习这方面的分析。
如果是想通过培训掌握生物信息学,那么可以参考:彻底入门生物信息学,可能需要12天! 推文介绍的。
也给大家介绍了如何使用R自带的heatmap函数+gplots的配色方案来绘制热图
在第一讲我们详细介绍了GEO数据库的基础知识及规律,也了解了如何利用官方R包GEOquery来探索GEO数据库,当然,我的生信菜鸟团博客里面也从很多其它角度解析过它,欢迎大家自行搜索学习。总得来说,从GEO数据库里面得到感兴趣数据集的表达矩阵分成两类,最简单的就是直接下载作者归一化好的表达矩阵咯,比较麻烦的就是下载最原始芯片数据,然后根据不同的芯片来一一解读成表达矩阵。 解读GEO数据存放规律及下载,一文就够 解读SRA数据库规律一文就够 直接下载数据集作者上传的表达矩阵 通常我们默认作者对其芯片数据处理的
群主想看到,HCC,CHC,CC这3组,跟healthy的分开比较,然后3个火山图,3个热图。
H2官网:http://h2database.com/html/main.html
临床样品的特色是:通常是FFPE样本,在保存过程中往往造成RNA的断裂,不论是qPCR还是RNA-seq都难以进行精准的定量,这个时候Nanostring 仪器就是为了解决这些问题而诞生的。所以它在医院的流行程度很高,而我们要介绍的这篇文章就来自于医院科研人员,所以选择Nanostring就很容易理解啦。
而且circRNA领域的芯片或者测序技术拿到的也是表达量矩阵,所以表达量矩阵的差异分析呢,都可以看到我8年前的教程,推文在:
由于是EBI数据库,用wget下载速度太慢,Jimmy大神强烈建议用aspera工具下载,于是参考生信技能树教程代码,首先需要熟悉GEO和SRA数据库:
很简单的设计,就是450K甲基化芯片:DCIS (n=40) and adjacent normal (n=15) ,另外的信息技术:Among 40 DCIS cases 13 later developed invasive disease
我之所以注意到它,主要是他们做了芯片加上测序再结合qPCR,非常的保险。胞外囊泡的芯片分析共发现了85种差异circRNA分子,癌与癌旁组织的高通量测序分析发现了140种显著差异的circRNA分子。两种分析的结果中发现了3个circRNA变化趋势一致,最后又使用QPCR分析,如下所示:
http://www.bioconductor.org/packages/release/bioc/vignettes/GEOquery/inst/doc/GEOquery.html
本来以为是很简单,但是十万粉丝里面,我只收到了13份作业,可怜的13份答卷里面,还有5个是错的!其中大家错的最离谱的就是,搞不清楚文中的WGCNA针对的5个分组到底是什么!
选择在GEO官网的GPL平台下载 : https://www.ncbi.nlm.nih.gov/geo/query/acc.cgi?acc=GPL21827 rm(list = ls()) ## 魔
看到数据集 GSE103115,是关于:Cisplatin-induced gene expression changes in triple-negative breast cancer (TNBC) cells,是4种三阴性乳腺癌细胞系的同一个药物的不同时间的转录表达水平效应,每个处理是2个生物学重复。这个数据集发表在Cell Rep. 2019 Aug ,题目是:Modeling of Cisplatin-Induced Signaling Dynamics in Triple-Negative Breast Cancer Cells Reveals Mediators of Sensitivity. 分析策略的确是蛮有意思的
生物信息数据分析教程视频——13-3种R包(DESeq2、edgeR和limma)进行RNAseq的差异表达分析与比较
不管是哪种表达矩阵得到的差异分子,以前的mRNA的基因名,或者miRNA,lncRNA,甚至circRNA的ID ,看起来很陌生的ID,都是同样的的分析流程。
建国70周年大庆即将到来,各行各业都在积极筹备迎接祖国的生日,在这个举国欢腾的时刻,我们决定以一种特殊方式来表达自己对祖国母亲的祝福:一副用R语言绘制的中国地图。
但是在高通量测序大行其道的这10年,困扰大家的问题在于如何从繁多的基因定位到少量的几个基因,这也就是数据挖掘的核心,缩小目标基因!各种数据挖掘文章本质上都是要把目标基因集缩小,比如表达量矩阵通常是2万多个蛋白编码基因,不管是表达芯片还是RNA-seq测序的,采用何种程度的差异分析,最后都还有成百上千个目标基因。如果是临床队列,通常是会跟生存分析进行交集,或者多个数据集差异结果的交集,比如:多个数据集整合神器-RobustRankAggreg包 ,这样的基因集就是100个以内的数量了,但是仍然有缩小的空间,比如lasso等统计学算法,最后搞成10个左右的基因组成signature即可顺利发表。
现在越来越流行前后端分离的开发模式,即 Web 后端提供 RESTful 接口,返回结构化的数据(通常为 JSON 或者 XML)。前端使用 AJAX 技术请求到所需的数据,利用 JavaScript 进行渲染。Vue/React 等前端框架持续火热,这种开发模式前后端解耦,优势非常突出。后端童鞋专心解决资源利用,并发,数据库等问题,只需要考虑数据如何生成;前端童鞋专注于界面设计实现,只需要考虑拿到数据后如何渲染即可。使用 JSP 写过网站的童鞋,应该能感受到前后端耦合的痛苦。JSP 的表现力肯定是远不如 Vue/React 等专业做前端渲染的框架的。而且前后端分离在当前还有另外一个不可忽视的优势。因为后端只关注于数据,接口返回值是结构化的,与前端解耦。同一套后端服务能够同时支撑小程序、移动APP、PC端 Web 页面,以及对外提供的接口。随着前端工程化的不断地发展,Webpack,gulp 等工具层出不穷,前端技术越来越自成体系了。
HCMDB(人类癌症转移数据库)是一个集成数据库,可以存储和分析癌症转移的大规模表达数据。该数据库从GEO和TCGA中收集了124个先前公开的转录组数据集,用于比较转录组以检查转移相关基因的表达,在目前版本的HCMDB中,它包含来自四百多个实验的29种癌症类型。为了注释那些可能与转移相关的基因,数据库基于7,000多种已发表的文献,总共筛选了2183个基因(1901个蛋白质编码基因,24个长非编码RNA和203个miRNA)。
本教程就是跟大家一起去挖掘二代测序结果的数据,从你什么也不会开始,到最后得到Figure。其实关键节点在于怎样获取二代测序的数据,得到了数据框结合其他平台的挖掘教程,为大家发高效发文章加油!
领取专属 10元无门槛券
手把手带您无忧上云