首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >基于腾讯云存储网关 CSG 实现视频在线转码分发

基于腾讯云存储网关 CSG 实现视频在线转码分发

原创
作者头像
云存储
修改于 2021-01-15 07:49:23
修改于 2021-01-15 07:49:23
6K00
代码可运行
举报
文章被收录于专栏:腾讯云存储腾讯云存储
运行总次数:0
代码可运行

一、背景

随着越来越多的传统业务云化和云端业务发展,数据上云和云端数据处理领域的需求爆发式增长。腾讯云存储网关CSG提供一键部署开箱即用的便捷模式,深度结合COS对象存储生态,为用户提供方便快捷的数据上云通道,有效满足业务数据备份、数据上云和云上数据处理的需求。

腾讯云存储网关CSG提供文件语义到对象存储语义的转换,依托COS对象存储的海量存储能力,使用户通过本地文件协议即可读写云端COS数据,无需对现有业务做任何侵入式开发,即可使业务获得接近无限容量的文件系统使用能力,借助CSG热数据缓存能力,业务数据上云后业务侧还能够高效对COS里的业务数据进行后续加工处理。

二、业务场景

下文将以视频转码分发业务场景为例,带您了解CSG在该场景的应用。

业务侧生产出原始视频流H264文件,通过CSG将H264文件素材同步到COS,同步后再将H264文件作为输入继续转码成TS视频文件,最终将TS文件的COS访问链接发布到客户端侧,供各类客户端访问。

业务架构示意图:

1、依据业务规模部署存储网关CSG,通过腾讯云存储网关控制台一键部署或者通过腾讯云COS控制台一键部署。

  • CSG控制台一键部署网关
  • COS控制台一键部署网关

2、业务服务器中挂载CSG文件系统。

  • 使用下列命令实现 NFS v4.0 挂载
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
sudo mount -t nfs -o vers=4 <挂载点IP>:/share/nfs/<文件系统名称即bucket名称> <待挂载目标目录>

3、业务上传原始h264视频文件到CSG文件系统素材目录。

4、业务通过CSG文件系统,直接对素材目录中的文件执行转码操作,输出新文件到转码输出目录。通过CSG执行转码操作和本地磁盘执行转码操作在默认情况下性能接近,当使用自定义SSD机型的CSG时,将获得比本地普通磁盘更高的IO性能,单台CSG吞吐量可达1GB/s

5、原始素材和转码后的文件均通过CSG同步到COS存储桶,实现素材和输出文件同步到云端COS。

6、通过SCF云函数感知COS存储桶转码目录路径中的对象创建事件,将对象创建事件发布到业务指定CMQ消息队列

  • SCF云函数示例

7、业务服务通过业务指定CMQ消息队列进行消费,获取转码文件已成功上传到COS的事件信息,将对应文件的COS加速域名发布到客户端服务,使客户端能够通过COS加速域名下载浏览最终文件。

三、结语

存储网关CSG依托COS对象存储生态,为业务提供接近无限容量文件系统的使用能力。

通过存储网关的热数据缓存能力,业务能够对流程中前一步上传的文件进行高效加工处理,直接在CSG生产出后续业务流程所需的数据,并通过CSG将这些数据自动同步至COS。

整个数据上云和数据处理过程,均通过本地文件系统接口来操作,无需业务做侵入式改造,即可使业务数据上云并对数据进行加工处理,并可直接在云端生产出最终结果数据,结合后续SCF云函数和CMQ消息队列的腾讯云平台能力,可轻松和业务服务联动将云端COS数据链接分发至用户业务客户端。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
复杂组织中单细胞表观基因组的空间分辨方法
表观基因组中编码的调控信息,如组蛋白和DNA修饰,能够在发育过程中差异激活或抑制基因以产生不同的细胞类型。最近,表观遗传测序技术已扩展到单细胞水平,能够分析单个细胞中的染色质可及性和表观遗传修饰。但是在需要细胞解离的基于测序的方法中,细胞的空间背景丢失了。而这部分空间信息对于研究表观基因如何在复杂组织的自然环境中调控细胞类型的发展以及细胞的状态至关重要。
生信技能树jimmy
2023/02/10
3710
复杂组织中单细胞表观基因组的空间分辨方法
开源数据代码,学习如何通过单细胞多组学数据鉴定关键因子
◉ 研究设计和计算分析的示意图。3DG,三维基因组。◉ WNN 表示的单核 RNA 测序和单核 ATAC 测序数据投影到 UMAP 上,显示主要细胞类型。◉ 伴随的饼图展示了在主要协变量(性别、脑库、脑区、年龄组和细胞类型)中代表的细胞核比例。MSSM,西奈山医学院。◉ 基于最高平均表达量的前两个基因标记可视化其在主要细胞类型中的基因表达。◉ 主要细胞类型中基因表达与相应基因活性(由染色质可及性推导)之间的余弦相似度。◉ 使用方差分解方法分析协变量对基因表达(左,n = 16,661 基因)、染色质可及性(中,n = 181,432 峰值)和细胞类型组成(右,n = 10 种细胞类型)的解释方差。在每个小提琴图中,中心线表示中位数,箱子表示四分位距(IQR),而须线表示在 1.5× IQR 范围内的最高/最低值。超出第一和第三四分位数 1.5 倍 IQR 的点被视为异常值。
生信菜鸟团
2025/04/04
1860
开源数据代码,学习如何通过单细胞多组学数据鉴定关键因子
长读长洞察单细胞:第三代测序与单细胞表观基因组学的融合揭示生命复杂性的新维度
北京大学生物医学前沿创新中心(BIOPIC)汤富酬课题组与清华大学基础医学院纪家葵课题组合作在《Science》上发表题为“Chromatin Accessibility Landscape of Mouse Early Embryos Revealed by Single-cell NanoATAC-seq2”的研究论文。
天意生信云
2025/04/04
1580
长读长洞察单细胞:第三代测序与单细胞表观基因组学的融合揭示生命复杂性的新维度
scMMO-atlas:单细胞多模态组学图谱和门户,用于探索细胞异质性和细胞动态
◉ 图1. scMMO-atlas的构建和数据总结。(A) scMMO-atlas构建方案。(B) 按物种、供体状况和组学方法对scMMO-atlas进行总结。(C) 按样本状况和组学方法分类的细胞数量。H,人类;M,小鼠;T2D,2型糖尿病;AHRF,急性低氧性呼吸衰竭;PD,帕金森病;CML,慢性髓系白血病;MTB,结核分枝杆菌;NHL,非霍奇金淋巴瘤。(D) 来自70个数据集的27种细胞组织或器官分布比例。(E) 不同组学方法下每个组织样本的总结。PBMC,外周血单核细胞;BAL,支气管肺泡灌洗液;AGM,主动脉-生殖腺-中肾;ESC,胚胎干细胞。(F) scMMO-atlas数据库结构。
生信菜鸟团
2025/04/04
1500
scMMO-atlas:单细胞多模态组学图谱和门户,用于探索细胞异质性和细胞动态
三维基因组|基因组结构 (2)
术语 cis 源自拉丁语词根“cis”,意思是“同一侧”。相比之下,“trans”一词来自拉丁语词根“trans”,意思是“对面”。在分子生物学中,顺式调控元件是指染色体 DNA 中调节同一染色体上基因转录或表达的区域。反式作用因子是指与基因的顺式作用元件结合以控制其表达的可溶性蛋白质。然而,可溶性反式作用蛋白可以驻留在任何染色体上,通常位于与其调节位置不同的染色体上。
数据科学工厂
2024/03/02
2500
三维基因组|基因组结构 (2)
三维基因组学习笔记
本周受邀来武汉菲沙基因参加三维基因组学习研讨班,所以更新该系列该领域基础知识以及一个实战项目的方方面面,测试数据以及流程软件的解说,希望大家喜欢!
生信技能树
2018/08/06
2.4K0
三维基因组学习笔记
Nature -- 空间表观组学与转录组学联合分析,揭示基因表达的精准调控
为充分理解组织中单细胞的基因表达调控,需要在单细胞水平以空间分辨率的方式集成不同分子信息的不同层面,包括表观基因组和转录组数据。虽然单细胞多组学方法可以捕捉来自不同分子层的信息,但是空间组学方法到目前为止主要局限于一层分子。张等人 (Spatial epigenome–transcriptome co-profiling of mammalian tissues)在 Nature 上介绍了两种用于单细胞分辨率的空间定位共同绘制表观遗传组和转录组。他们将这些技术应用于小鼠和人类脑组织中,展示了其在理解复杂组织基因调控方面的潜力。
生信宝典
2023/08/30
7920
Nature -- 空间表观组学与转录组学联合分析,揭示基因表达的精准调控
同一细胞中转录组和染色质高通量测序联合分析
每个人的时间精力有限,必须优先阅读相关文献,开设这个栏目也是希望为大家推荐高质量的单细胞相关文献。如果大家对单细胞转录组感兴趣可以关注一下,哪怕每天只学一点点,积土成山,积水成渊。
生信技能树jimmy
2020/03/30
5750
Nature|单细胞多组学绘制小鼠新皮质发育图谱
哺乳动物的大脑皮层具有着无与伦比的细胞类型多样性,为了维持皮质正常的分层与行使功能,这些细胞类型是在一系列严格约束下产生的;此外,随着皮质的发育,大量细胞还会经历细胞状态的转换。因此,研究支配皮质细胞类型的产生和组织的分子机制存在难度。本研究中,作者采用单细胞RNA测序、单细胞ATAC测序以及空间转录组技术,单细胞多组学的结合生成了发育中的小鼠新皮质的综合图谱,绘制了整个小鼠皮质发生过程中所有细胞类型的发育轨迹,确定了伴随个体细胞类型谱系规范的纵向分子动力学,从而能够对异常皮质发生的机制进行探索。
生信交流平台
2022/09/21
1.1K0
Nature|单细胞多组学绘制小鼠新皮质发育图谱
一文读懂三维基因组
每个人体内都有着两米长的DNA,它是如何紧密折叠在直径 10 微米小的细胞核内。
白墨石
2021/01/12
1.1K0
MultiVelo推断动态解耦的基因调控
单细胞多组学数据旨在相同细胞中捕获细胞多分子模式,提供了探索细胞表观基因组和转录组关系的机会。作者开发了MultiVelo,这是一种基因表达的机制模型。它纳入表观基因组数据的同时扩展了RNA速率框架。MultiVelo使用概率隐变量模型从单细胞数据估计染色质可及性和基因表达的转换时间和速率参数,提供表观基因组和转录组变化之间时间关系的定量总结。与仅从RNA估算的方法相比,结合染色质可及性数据显著提高了细胞命运预测的准确性。在来自大脑、皮肤和血细胞的单细胞多组学数据集上拟合MultiVelo揭示了两类不同的基因。该模型还确定了四种细胞状态——表观基因组和转录组耦合的两种状态和两种不同的解耦状态。MultiVelo推断的参数量化了基因占据四种状态的时间长度,根据转录组和表观基因组之间的耦合程度对基因进行排序。最后,作者确定了转录因子表达和结合位点可及性之间以及疾病相关SNP可及性和连锁基因表达之间的时滞。
DrugAI
2022/01/13
7870
MultiVelo推断动态解耦的基因调控
人工智能 | 一种细胞类型无关的调控预测多模态 transformer | Cell Genomics
◉ 图1。EpiBERT训练概述(A)描绘EpiBERT掩码可及性预训练的示意图。在预训练过程中,模型观察特定细胞类型每个输入窗口的掩码ATAC-seq、相应的序列和全局基序富集(STAR方法)。然后,模型预测掩码ATAC-seq信号。预训练后,可以解释该模型以预测调控基序和变异效应。(B)预训练的EpiBERT模型可以微调以预测观察到和未观察到的细胞类型的基因表达。微调后,可以解释该模型以预测增强子-基因(E-G)连接。(C)EpiBERT预训练的高级网络图。在每次训练迭代期间,模型输入包括随机选择的位点的一热编码基因组序列(524 kb),随机掩码(约15%)归一化的ATAC-seq(对应于随机选择的细胞类型的相应位点,4 bp分辨率),以及相对基序富集(STAR方法)。输入通过卷积层和前馈网络(FFN)层传递,合并,并由线性(可扩展神经网络内核)注意力层处理。模型预测掩码区域内的归一化ATAC计数(128 bp分辨率)。训练过程进行2500万次独立迭代/示例(每个对应一个特定的位点和细胞类型)。
生信菜鸟团
2025/03/13
1550
人工智能 | 一种细胞类型无关的调控预测多模态 transformer | Cell Genomics
Cell 综述精读 | 细胞中的染色体折叠
生信菜鸟团
2024/12/05
3190
Cell 综述精读 | 细胞中的染色体折叠
Nat. Commun. | TRAPT:融合多阶段深度学习的大规模表观基因组调控因子预测框架
疾病发生和进展的特异性研究中,识别调控转录因子(TRs)仍具有挑战性,这些因子通过调控元件和表观基因组信号控制基因表达。大规模多组学表观基因组数据的引入,为解析调控元件及其调控因子的复杂模式提供了可能。研究人员在此提出TRAPT,一个多模态深度学习框架,可通过学习和整合靶基因的顺式调控元件及全基因组结合位点的调控潜能,推断转录因子的活性。在570个与TR相关的数据集上,TRAPT在预测转录因子,尤其是协同因子和染色质调控因子方面优于现有方法。此外,该方法成功识别出与疾病、遗传变异、细胞命运决策及组织相关的关键转录因子,展现了基于表观组数据识别TRs的全新视角。
DrugAI
2025/04/22
1810
Nat. Commun. | TRAPT:融合多阶段深度学习的大规模表观基因组调控因子预测框架
细胞图谱 | Nature | 人类胚胎骨骼发育的多组学图谱
生信菜鸟团
2024/12/27
4290
细胞图谱 | Nature | 人类胚胎骨骼发育的多组学图谱
顶刊分享--创伤后应激障碍患者大脑单细胞转录组学和染色质动力学研究
追风少年i
2025/06/20
760
顶刊分享--创伤后应激障碍患者大脑单细胞转录组学和染色质动力学研究
三维基因组: Hi-C 差异分析(1)
本系列主要讲解 3D-Genome (Hi-C) 系列的分析,主要涉及三维基因组分析中的数据处理,重复性评估,Compartment/TAD/Loop 检测,差异分析等,欢迎关注!
数据科学工厂
2025/04/26
2640
三维基因组: Hi-C 差异分析(1)
癌症的表观遗传标志,CancerDiscov招牌Hallmarks系列最新综述
生信菜鸟团
2024/11/23
2910
癌症的表观遗传标志,CancerDiscov招牌Hallmarks系列最新综述
多组学技术揭示人视网膜调控动力学
今天带来的这篇文章2020年2月刊登在Science Advances上,题为:Chromatin accessibility analysis reveals regulatory dynamics of developing human retina and hiPSC-derived retinal organoids 。
生信技能树jimmy
2020/05/26
6010
《细胞》重磅成果!任兵课题组绘制迄今最大规模人类单细胞染色质可及性图谱
北京时间2021年11月13日凌晨0时,美国加州大学圣地亚哥分校任兵教授课题组在国际学术期刊《细胞》(Cell)发表论文 ——“ A single-cell atlas of chromatin accessibility in the human genome”。
生信宝典
2021/11/17
7310
推荐阅读
相关推荐
复杂组织中单细胞表观基因组的空间分辨方法
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档