Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >上传COS触发云函数执行高并发文件处理逻辑案例

上传COS触发云函数执行高并发文件处理逻辑案例

原创
作者头像
haimingli
发布于 2020-12-21 13:54:21
发布于 2020-12-21 13:54:21
9560
举报

背景

通过腾讯云云函数 SCF 可以实现对象存储 COS 中的文件自动解压缩、其中 COS 用于存储上传后需要解压的 .zip 文件及解压后的文件,SCF 实现对 .zip 文件上传至 COS 后的自动解压缩。同时还适用于对相关音视频文件上传到COS之后进行编解码、格式转换,裁剪等场景。

COS + 云函数运行原理原理

在云端,可以通过云函数(SCF)和 COS 产品进行联动,完成自动化业务逻辑处理,也就是所谓的事件驱动:

支持一键配置 COS 事件监听,无需额外设备投入,即可实时消费 COS 事件;

自定义处理逻辑,支持多种编程语言,支持第三方库;

毫秒级弹性伸缩,轻松应对负载的波峰波谷,现网实际案例支持10W+级QPS,且像COS一样,支持按实际使用付费;

高可用,针对云函数的运行状态,支持配置多维度的监控告警,实时感知健康状态。

方案详解

整个方案如下图所示:

具体操作步骤如下

1、创建存储桶并进行配置。

2、配置解压函数

3、部署验证执行

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
腾讯云 CFS 文件存储给云函数 SCF 带来的业务新场景
查看完整直播回放:https://cloud.tencent.com/edu/learning/live-2952 云函数 SCF 存储的局限
可可爱爱没有脑袋
2020/10/16
2.8K0
卢萌凯:玩转SCF与COS的结合应用
大家好。我是腾讯云中间件及无服务器云函数架构师。我今天介绍分四部分:第一,对象存储COS简介。第二,比较实用的一部分,SCF与COS结合使用的应用场景。第三,比较有意思,人脸识别Demo。调用AI的接口,用几行代码就把人脸识别的Demo就实现了。最后一部分是最佳实践。其实主要是来看一下在COS使用过程当中有哪些需要注意的地方。
腾讯云开发者社区技术沙龙
2018/08/29
2.2K0
回顾|腾讯云 CFS 文件存储给 Serverless 云函数带来的业务新场景
云函数 SCF 存储空间使用背景 目前 Serverless 架构已经在很多场景中落地,无论是使用 API 网关+ 云函数 SCF 实现 API 服务和 Web 服务,还是通过对象存储 COS 触发函数运行,进行文件上传事件的传递和文件的处理,或者通过消息队列中的消息触发函数,进行消息的过滤转储;Serverless 依靠其快速开发上线,无需复杂运维的特性,正逐步进入到更多的业务场景中。 在实际的使用过程中,云函数作为计算形态的产品,提供了计算高度的弹性扩缩容。在云函数运行时,运行环境中的文件系统为只读,
腾讯云serverless团队
2020/09/01
1.9K0
使用 Serverless 云函数 + ffmpeg 实现音视频转码服务
Serverless 已经成为近期热度越来越高的技术,众所周知,Serverless 的核心是帮用户屏蔽了底层的资源、提供按需请求、按需使用、按需付费的一种全新服务,像腾讯云的云函数(SCF)和对象存储等都是 Serverless 化的服务。基于 Serverless 云函数,用户可以快速构建各种功能性的 REST API 服务,如 WEB 服务后台、APP 应用后台、小游戏的聊天服务、图片处理、音视频转码等。本文就以 API网关 + 云函数 + 对象存储等云产品,分享如何快速实现自定义的音视频转码服务。
Mason-Serverless
2020/07/22
5.6K1
使用 Serverless 云函数 + ffmpeg 实现音视频转码服务
使用腾讯云函数SCF快速解压对象存储COS中的ZIP文件
在本实践中,我们用到了云函数 SCF 和对象存储 COS。假定用户上传到 COS 的 zip 文件需要进行解压缩,并以 zip 包名作为文件夹名,回传到 COS。用户可根据示例代码进行扩展,例如支持其他格式文件的解压缩操作。
云存储
2019/11/26
4.4K0
使用腾讯云函数SCF快速解压对象存储COS中的ZIP文件
简单几步,利用Serverless,让COS中文件变更自动刷新CDN
SCF能实现事件式的触发,让你的一段代码跑在云上,无需自己去搭建服务器。而这里我们要利用能力:COS文件上传/删除的触发器。
galen
2018/05/02
10.3K17
简单几步,利用Serverless,让COS中文件变更自动刷新CDN
【利用无服务器云函数(SCF)】自动刷新COS中变更文件的CDN!
简单几步,利用Serverless,让COS中文件变更自动刷新CDN! 背景 这几天遇到这样的一个场景,相信也是大多数的站长会遇到的一个问题: 自己的一个个人站点使用了COS作为前端静态资源的存储(JS、CSS、图片等等),同时开启了CDN作为资源的加速分发,为了最大的达到加速效果,把这些资源的缓存时间设置30天及以上。某一天,自己的站点需要变更一下css样式,修改完之后扔到COS中,发现站点中的样式仍没有生效。最后想起是命中了CDN的缓存,因此需要到 CDN控制台 进行URL刷新。 现状 目前COS(对象
QUXINGDONG.COM
2018/06/20
2.3K0
SCF函数同个COS目录前缀后缀实现ZIP自动解压缩功能
登录控制台-》访问管理-》角色-》新建角色-》选择角色载体-》选择腾讯云产品服务-》QcloudAccessForCOSBatchRole载体勾选后下一步确认,具体步骤如下截图:
╰ゑ迷羊ぉ
2020/03/11
1.2K0
SCF函数同个COS目录前缀后缀实现ZIP自动解压缩功能
天狮集团云函数实践:自定义业务逻辑实现跨境电商全球直播
业务覆盖全球190多个国家和地区,服务全球用户超过4000万,业务领域横跨生物技术、健康管理、酒店旅游、教育培训、金融投资......运营这样一家跨国集团的全球化业务,需要在全球部署多少 IT 管理中心? 天狮集团作为这样一家跨国公司,给出的答案是:3个。 01. 一个 “小目标”:加速实现全球直播 天狮的全球化业务,主要由位于天津、北京和杭州的 3 个精简的 IT 团队负责,积极通过技术创新提升业务开发效率,源源不断地为天狮在全球输出业务动力。 2021 年,天狮将快速实现海内外直播服务提高为战略目标:
腾讯云原生
2021/10/12
2.1K0
使用无服务器云函数同步COS对象存储的元信息到ES中
本文利用腾讯云提供的Serverless执行环境-无服务器云函数SCF解决了这一问题。
bellen
2019/01/17
10.8K4
使用无服务器云函数同步COS对象存储的元信息到ES中
使用腾讯云 SCF 云函数压缩 COS 对象存储文件
腾讯云serverless团队
2017/10/17
17.1K2
由浅入深 SCF 无服务器云函数实践
近年来,互联网服务从一开始的物理服务器托管,虚拟机,容器,发展到现在的云函数,逐步无服务器化。
腾讯云技术
2018/01/15
6K1
由浅入深 SCF 无服务器云函数实践
GitHub Actions + 腾讯云COS + SCF云函数 + 自动刷新CDN 完美自动化部署静态网站
作为强迫症患者,一直对自动化部署非常痴迷,个人认为全自动部署最重要的就是稳定可靠,经过研究测试,最终使用GitHub和腾讯云两大平台,成功完成了全自动部署网站的实践.
用户8851537
2021/07/30
1.6K0
最佳实践 | 腾讯云TRTC&云函数助力天狮集团快速上线全流程全球直播服务
业务覆盖全球190多个国家和地区,服务全球用户超过4000万,业务领域横跨生物技术、健康管理、酒店旅游、教育培训、金融投资......运营这样一家跨国集团的全球化业务,需要在全球部署多少 IT 管理中心? 天狮集团作为这样一家跨国公司,给出的答案是:3个。 01. 一个 “小目标”:加速实现全球直播 天狮的全球化业务,主要由位于天津、北京和杭州的 3 个精简的 IT 团队负责,积极通过技术创新提升业务开发效率,源源不断地为天狮在全球输出业务动力。 2021 年,天狮将快速实现海内外直播服务提高为战略
腾讯云音视频
2021/10/18
2.8K0
【尝鲜】全新SCFCLI帮你快速部署自己的云函数
SCFCLI想必很多小伙伴都知道了,也都用过了,作为一个可以提高开发者效率的工具,CLI还是很有价值的。本次给大家介绍一下,新版SCFCLI增加的有趣的功能和优化:
None-xiaomi
2019/08/08
1.3K1
COS数据工作流+云函数最佳实践 - 文件哈希值计算
文件哈希值,即文件内容的HASH值。是通过对文件内容进行加密运算得到的一组二进制值,主要用途是用于文件校验或签名。正是因为这样的特点,它常常用来判断两个文件是否相同。
云存储
2021/08/11
8070
基于COS日志实时自动刷新CDN缓存
问题场景 背景:现在很多公司使用对象存储服务来存储静态文件/图片等,充分利用云上功能实现数据处理(数据万象),如COS的缩放/裁剪等功能;同时通过CDN的加速能力,提升访问质量。 问题:文件删除,可能来自第三方的投诉;可能来自违规;可能来自公司本身业务需要等等;COS文件删除,CDN需要刷新缓存;如果用了数据处理能力,比如万象,可能会产生同一个key,数个URL,都需要刷新缓存。 解决: 单key-单path场景,如key为/aaa/bbb.jpg,删除的缓存也只有/aaa/bbb.jpg的场景
tinkerli
2021/04/15
3.3K0
基于COS日志实时自动刷新CDN缓存
使用云函数将CDN的日志存储到COS中
本文介绍如何使用腾讯云的云函数功能,创建两个函数,实现定时将CDN的日志存储到COS中。
rexliao
2019/05/29
6K0
使用云函数将CDN的日志存储到COS中
【玩转腾讯云】云函数实时备份存储桶 A 中文件到存储桶 B
【注意】发现程序 bug ,假如从 A 存储桶备份至 B 存储桶,只能对上传到 A 中根目录的文件进行实时备份,对上传到 A 中一级及以上目录的文件,备份失败并报错。
我是技术小白
2020/04/15
3.5K0
【玩转腾讯云】用COS+CDN+CI+Hexo+Next+VsCode+智能DNS搭建丝滑的博客
对于一般的内容而言,使用动态博客较为复杂,需要数据库、运行环境的配合。动态博客的代码也较为复杂,修改代码进行个性化难度较高。
羽翰尘
2020/04/05
2K0
【玩转腾讯云】用COS+CDN+CI+Hexo+Next+VsCode+智能DNS搭建丝滑的博客
推荐阅读
相关推荐
腾讯云 CFS 文件存储给云函数 SCF 带来的业务新场景
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档