前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >【技术创作101训练营】腾讯云主机安装COSFS工具并使用COS对象存储

【技术创作101训练营】腾讯云主机安装COSFS工具并使用COS对象存储

原创
作者头像
yuanfan2012
修改于 2021-01-20 07:13:45
修改于 2021-01-20 07:13:45
3K0
举报
文章被收录于专栏:WalkingCloudWalkingCloud

PPT:

腾讯云主机安装COSFS工具并使用COS对象存储v1.pptx

第1页PPT——开场白

大家好 ,我叫袁繁,昵称yuanfan2012,人送外号“袁老”,没办法年龄确实是我的硬伤,所以同事常叫我“袁老”,运维攻城狮一名

很高兴,也很能得有这样的机会给大家做一次技术分享:今天我分享的主题是《腾讯云主机安装COSFS工具并使用COS对象存储》,用一元钱体验腾讯云COS对象存储,不要1999,只要1元,就带你体验腾讯云COS对象存储,船新的版本


第2页PPT——目录

我分下面几个部分进行讲解,

把大象装进冰箱分几步?

我们先介绍对象,买对象,配对象,挂对象,用对象,最后用完卸对象

下面我逐一讲解


第3页PPT——给你介绍对象

对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务

1)腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。

2)COS 提供网页端管理界面、多种主流开发语言的 SDK、API 以及命令行和图形化工具,并且兼容 S3 的 API 接口,方便用户直接使用社区工具和插件。


第4页PPT——COSFS工具介绍

cosfs 能让您在Linux/Mac OS X 系统中把Tencent COS bucket 挂载到本地文件 系统中,能够便捷的通过本地文件系统操作COS 上的对象,实现数据的共享。

功能

cosfs 基于s3fs 构建,具有s3fs 的全部功能。主要功能包括:

•支持POSIX 文件系统的大部分功能,包括文件读写,目录,链接操作,权限,uid/gid

•通过COS 的multipart 功能上传大文件。

•MD5 校验保证数据完整性


第5页PPT——1元钱买对象

1元钱COS礼包,对,你没有看错,你买不了吃亏,你买不了上当!机会难得

一年365天,这样算下来一天不到1分钱

https://cloud.tencent.com/act/pro/cos

目前有对象存储 COS 专场特惠

1元COS礼包【1元购 COS 50GB 1年存储包,赠10元代金券】 下单购买

购买时注意地域选择,这里选择中国大陆通用


第6页PPT——小米一分钱梗

说到这个一分钱,想起了小米的这个一分钱的梗,小米的这个逻辑上无懈可击啊,逻辑鬼才!只能说没毛病

调侃归调侃,腾讯云COS云存储,一天一分钱不到是真便宜


第7页PPT——创建存储桶

1、在腾讯云控制台按提示创建存储桶

创建时注意所属地域,比如这里选择上海地域,与云主机同地域

创建后,记住存储桶名称,以及请求域名

2、控制台中查看存储桶

例如存储桶创建一个文件夹


第8页PPT——API密钥——令牌

腾讯云控制台API密钥管理中新建密钥

记录SecretId和SecretKey信息,后面会用到

这个就是令牌,见到令牌就可以通行,先拿到令牌


第9页PPT——github下载cosfs的rpm包

cosfs CentOS7版本的rpm包可以在github上下载

github程序猿们的宝藏之地


第10页PPT——云煮鸡yum安装cosfs

接下来就开始煮鸡了

通过脚本获取云煮鸡信息可以看到该云主机也属于上海区域

yum localinstall cosfs-1.0.19-centos7.0.x86_64.rpm

会自动安装相关依赖包, 然后yum install fuse


第11页PPT——配置密钥文件

1、在文件/etc/passwd-cosfs中,写入存储桶名称(格式为 BucketName-APPID),以及该存储桶对应的 SecretId 和 SecretKey,三项之间使用半角冒号隔开。

2、并且为了防止密钥泄露,COSFS 要求将密钥文件的权限设置成640

3、配置/etc/passwd-cosfs密钥文件的命令格式如下:修改 /etc/passwd-cosfs 文件

echo <BucketName-APPID>:<SecretId>:<SecretKey> > /etc/passwd-cosfs chmod 640 /etc/passwd-cosfs

4、需要将 <BucketName-APPID>、<SecretId> 和 <SecretKey> 替换为实际的信息。 <SecretId> 和 <SecretKey> 请前往访问管理控制台的 "API密钥管理" 中获取

就是我们前面说的令牌,拿到令牌就对上号了,自由通行


第12页PPT——确认是否是通过内网访问COS

腾讯云对象存储 COS 的访问域名使用了智能 DNS 解析,通过互联网在不同的运营商环境下,会检测并指向最优链路供您访问 COS。

如果在腾讯云内部署了服务用于访问 COS,则同地域范围内访问将会自动被指向到内网地址。

跨地域暂不支持内网访问,默认将会解析到外网地址可以在后台nslookup/dig测试,确认是通过内网访问COS

内网访问判断方法 相同地域内腾讯云产品访问,将会自动使用内网连接,产生的内网流量不计费。因此选购腾讯云不同产品时,建议尽量选择相同地域,减少费用。确认是否内网访问请参考如下方法:以腾讯 CVM 访问 COS 为例,判断是否使用内网访问 COS ,可以在 CVM 上 使用nslookup命令解析 COS 域名,若返回内网 IP,则表明 CVM 和 COS 之间是内网访问,否则为外网访问。说明:内网 IP 地址一般形如10. .. 、100.. . ,VPC 网络一般为169.254. . 等,这两种形式的 IP 都属于内网如图所示169.254.0.47为内网IP


第13页PPT——使用cosfs命令手动挂载对象

上面将已经在密钥文件中配置好信息的存储桶挂载到指定目录,可以使用如下命令行进行手动挂载:

cosfs <BucketName-APPID> <MountPoint> -ourl=<CosDomainName> -odbglevel=info -oallow_other

其中:

<MountPoint> 为本地挂载目录(例如/mnt)

<CosDomainName> 为存储桶对应的访问域名,形式为http://cos.<region>.myqcloud.com (适用于 XML API,请勿在该参数中携带存储桶名称),其中 <Region> 为地域简称, 例如 ap-guangzhou 、 ap-shanghai 等

-odbglevel 指定日志级别

-oallow_other 允许非挂载用户访问挂载文件夹

mkdir /COSFS_Storage cosfs yuanfan2021-12XXXX8 /COSFS_Storage -ourl=http://cos.ap-shanghai.myqcloud.com -odbglevel=info -oallow_other

df -PTh验证挂载是否成功 拷贝一个文件到COS存储目录中


第14页PPT——iftop观察实时流量

拷贝一个文件到COS存储目录中

可以用iftop观察实时流量

查看流量可以看到走的是内网流量


第15页PPT——开机启动自动挂载COS存储

在 /etc/fstab 文件中添加如下的内容,其中,_netdev 选项使得网络准备好后再执行当前命令:

cosfs#yuanfan2021-1253683998 /COSFS_Storage fuse _netdev,allow_other,url=http://cos.ap-shanghai.myqcloud.com,dbglevel=info

mount -a进行验证


第16页PPT——卸载存储桶

•方式1:fusermount -u /mnt, fusermount 命令专用于卸载 FUSE 文件系统

•方式2:umount -l /mnt, 当有程序引用文件系统中文件时,进行卸载不会报错,并在没程序引用时完成卸载

•方式3:umount /mnt, 当有程序引用文件系统中的文件时,进行卸载会报错

fusermount -u /COSFS_Storage df -PTh


第17页PPT——COS存储客户端工具

COS存储提供有不同操作系统的客户端工具,比如Windows,Mac,Linux都有客户端可供下载,就是这么齐全!


第18页PPT——回顾总结

最后我们回顾总结一下

1元钱买对象,给云主机配对象,挂对象,用对象,最后卸对象


第19页PPT——结束

今天的分享就到此结束,感谢参与,大家有什么疑问可以直接咨询我

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
libjpeg:实现jpeg内存解压缩塈转换色彩空间/压缩分辨率
前一篇博客《libjpeg:实现jpeg内存压缩暨error_exit错误异常处理和个性化参数设置》实现了jpeg图像的内存压缩,本文来讨论jpeg图像内存解压缩的过程以及让libjpeg在解压缩时就将图像转灰度或其他色彩空间。
10km
2022/05/07
1.5K0
minigui:增加__mg_save_jpg保存JPEG格式图像
版权声明:本文为博主原创文章,转载请注明源地址。 https://blog.csdn.net/10km/article/details/82387025
10km
2019/05/25
6160
libJPEG-turbo库使用示例代码
libJPEG库是用于编码数据为JPEG格式或者解码JPEG格式图片的常用库,OpenCV读取图像底层实现就是利用libJPEG库,而libJPEG-turbo则效率更高。 具体怎么编译编译libJPEG库源码得到lib库的方法很容易搜到,不多做介绍。 下面的代码包含了该库中常用的API用法,包括读取一幅JPEG图片并解码到内存、编码内存中的数据为JPEG图片写入本地等。 1 #include <iostream> 2 #include <stdio.h> 3 #include <se
一棹烟波
2018/01/12
3.2K0
day24-库的使用(2022.2.21)
=============== 2.字体库的使用 ====================
天天Lotay
2022/12/02
9930
day24-库的使用(2022.2.21)
ijg库的使用的几点注意
ijg库(http://www.ijg.org/)是用于处理jpeg解码和压缩的库,最新版本为2014发布的版本,可以在官网中下载jpegsr9a.zip 使用vs中个nmake 进行编译,对于这个版本的库,在编译的时候需要注意这几个点:    1.  可以在cmd中使用命令进行编译(前提是,将 nmake的路径配置到环境变量中path下了)形如:      设置三个变量:        变量名              变量值     include             D:\Program File
Gxjun
2018/03/26
8860
ijg库的使用的几点注意
图像处理基础(六)-libjpeg常用算法
bmp文件转化为bgr数据 void bmpfile_to_bgr(char *bmp_file,BYTE **rgb,int *size,int *w,int *h,int *bit) { FILE *fp = fopen(bmp_file,"rb"); if(fp == NULL) return; BITMAPFILEHEADER bmpheader; BITMAPINFOHEADER bmpinfo; fread(&bmpheader,sizeof(BITMAP
Pulsar-V
2019/03/12
8720
图像库 libjpeg-turbo 编译与实践
在 libjpeg-turbo 的源码中就已经有了讲述如何编译的 BUILDING.md 文件,还是使用 CMake 进行编译,大体方法和参数设置都大同小异了。
音视频开发进阶
2019/07/24
3.4K0
ijg库解码超大型jpeg图片
1. ijg库解码超大型jpeg图片(>100M)的时候,如何避免内存溢出。        采用边解码边压缩的策略,每次解码一行或者若干行图片数据,然后对于这些解码的数据,进行DQT(量化处理,过滤掉高频的数据,保持低频的数据), 这样解码完,也压缩完。 2. ijg库提供给我们的压缩接口都非常单一,仅有文件流操作,也就是仅仅只有从文件(图片)中读取,然后保存到文件中,而我们在解码大图片的时候, 一般是希望它能够留在缓存中,所以我们需要对源文件进行数据导向内存中 3. 一般而言,我们在进行图片压缩的时候,往
Gxjun
2018/03/27
1.3K0
libjpeg:实现jpeg内存压缩暨error_exit错误异常处理和个性化参数设置
libjpeg-turbo是与libjpeg接口兼容的一个jpeg编/解码库,其主要的特点就是利用SIMD指令(如X86架构的MMX/SSE/SSE2,ARM架构的NEON)来加速jpeg图像的编/解码,相比被广泛使用的libjpeg,编码和解码性能提高2~4倍左右。 本文介绍的内容适用于libjpeg-turbo和libjpeg(80以上版本) 关于如何用gcc对libjpeg-turbo编译,请参考我之前的一篇的博文《mingw(gcc)编译libjpeg-turbo》
10km
2022/05/07
1.1K0
libjpeg的问题
游戏项目是基于cocos2d-x开发的,但线上发现一个bug就是玩家在设置完自定义头像后直接闪退。凡是在设置该玩家头像的地方,游戏就直接闪退。最终定位到的问题是图片数据源有问题,我的机器是win7,图片能预览,但同事xp系统该图片是无法预览的,默认的系统自带的图片查看工具也无法显示图片。
meteoric
2018/11/20
1.3K0
Linux应用开发-libjpeg库交叉编译与使用
在开发板上如果想要显示jpeg格式的图片,必须用到libjpeg库,不可能自己去编写jpg的解码代码。
DS小龙哥
2022/05/09
4.1K0
Linux应用开发-libjpeg库交叉编译与使用
LibJPEG库使用_通过LibJPEG将RGB数据保存为JPG图片存储到磁盘
LibJPEG库是一个广泛使用的开源C库,用于处理JPEG图像的压缩和解压缩。该库由独立JPEG小组(Independent JPEG Group, IJG)开发,提供了功能强大的API,用于创建和读取JPEG文件。LibJPEG库支持JPEG的所有常见功能,包括高质量的压缩、解压缩、图像处理、颜色空间转换等。采用DCT(离散余弦变换)算法实现了高效的图像压缩,同时支持各种图像质量的调整。LibJPEG的灵活性和性能使其成为图像处理应用中的标准工具,被广泛应用于图像编辑软件、图像查看器、图像传输等多个领域。该库跨平台兼容,支持Windows、Linux、macOS等操作系统,开发者可以轻松将其集成到不同的平台和应用中。LibJPEG库还具有良好的文档支持,提供详细的编程指南和示例代码,帮助开发者快速上手和实现复杂的图像处理功能。由于其开源性质和广泛的应用,LibJPEG在业界享有很高的声誉,成为许多图像处理项目的首选库。
DS小龙哥
2025/05/27
1430
LibJPEG库使用_通过LibJPEG将RGB数据保存为JPG图片存储到磁盘
百问FB显示开发图像处理 - JPEG图像处理
​ JPEG的后缀名为.jpg的图像文件。对于图像内容和信息相同的JPEG文件和BMP文件,JPEG格式的文件要比BMP格式的文件小得多,这是因为JPEG文件是经过JPEG压缩算法后得到的一种文件格式。
阿志小管家
2024/11/29
2340
使用自定义 PyTorch 运算符优化深度学习数据输入管道
在这篇文章[1]中,我们讨论 PyTorch 对创建自定义运算符的支持,并演示它如何帮助我们解决数据输入管道的性能瓶颈、加速深度学习工作负载并降低训练成本。
数据科学工厂
2023/10/25
2120
使用自定义 PyTorch 运算符优化深度学习数据输入管道
荔枝派Zero(全志V3S)驱动开发之RGB LCD屏幕显示jpg图片
由于从上篇博文 “荔枝派Zero(全志V3S)驱动开发之RGB LCD屏幕显示bmp图片” 中只实现了显示 bmp 图片,实际上我们很常用到的图片多数是 jpg 格式图片,因此我们需要折腾一下,实现 jpg 文件的显示。
Gnep@97
2023/08/10
5350
荔枝派Zero(全志V3S)驱动开发之RGB LCD屏幕显示jpg图片
Linux下采集摄像头的图像再保存为JPG图片存放到本地(YUYV转JPG)
操作系统:ubuntu18.04 X64位 和 嵌入式Linux操作(ARM)
DS小龙哥
2022/01/12
4.7K0
Linux下采集摄像头的图像再保存为JPG图片存放到本地(YUYV转JPG)
Bitmap优化详解
一张图片Bitmap所占用的内存 = 图片长度 x 图片宽度 x 一个像素点占用的字节数
大发明家
2021/12/15
2K0
【Android 内存优化】Android 工程中使用 libjpeg-turbo 压缩图片 ( 初始化压缩对象 | 打开文件 | 设置压缩参数 | 写入压缩图像数据 | 完成压缩 | 释放资源 )
上一篇博客 【Android 内存优化】Android 工程中使用 libjpeg-turbo 压缩图片 ( JNI 传递 Bitmap | 获取位图信息 | 获取图像数据 | 图像数据过滤 | 释放资源 ) 介绍了从 Java 层传入 Bitmap 对象到 JNI 层 , JNI 层获取到了图像对应的 RGB 像素数据 , 本篇博客中将获取的图像数据进行压缩 , 存储到 JPEG 格式图片中 ;
韩曙亮
2023/03/27
2.1K0
Linux应用开发【第二章】图像处理应用开发
​ 前言:所有的图像文件,都是一种二进制格式文件,每一个图像文件,都可以通过解析文件中的每一组二进制数的含义来获得文件中的各种信息,如图像高度,宽度,像素位数等等。只是不同的文件格式所代表的二进制数含义不一样罢了。我们可以通过UltraEdit软件打开图像文件并查看里面的二进制数排列。
韦东山
2021/12/15
1.1K0
Linux应用开发【第二章】图像处理应用开发
Android性能优化系列之Bitmap图片优化
在Android开发过程中,Bitmap往往会给开发者带来一些困扰,因为对Bitmap操作不慎,就容易造成OOM(Java.lang.OutofMemoryError - 内存溢出),本篇博客,我们将一起探讨Bitmap的性能优化。
老马的编程之旅
2022/06/22
8380
Android性能优化系列之Bitmap图片优化
推荐阅读
相关推荐
libjpeg:实现jpeg内存解压缩塈转换色彩空间/压缩分辨率
更多 >
LV.4
腾讯前端开发
目录
  • PPT:
  • 第1页PPT——开场白
  • 第2页PPT——目录
  • 第3页PPT——给你介绍对象
  • 第4页PPT——COSFS工具介绍
  • 第5页PPT——1元钱买对象
  • 第6页PPT——小米一分钱梗
  • 第7页PPT——创建存储桶
  • 第8页PPT——API密钥——令牌
  • 第9页PPT——github下载cosfs的rpm包
  • 第10页PPT——云煮鸡yum安装cosfs
  • 第11页PPT——配置密钥文件
  • 第12页PPT——确认是否是通过内网访问COS
  • 第13页PPT——使用cosfs命令手动挂载对象
  • 第14页PPT——iftop观察实时流量
  • 第15页PPT——开机启动自动挂载COS存储
  • 第16页PPT——卸载存储桶
  • 第17页PPT——COS存储客户端工具
  • 第18页PPT——回顾总结
  • 第19页PPT——结束
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档