EMR(弹性MapReduce)入门之腾讯云存储对象COS（六）

在前面的几篇文章中大家已经跟着我了解了HDFS以及HDFS的一些基础排障，接下来我们呢继续学习。要学习到的产品是腾讯云产品中的对象存储COS。

那么首先就会想到，HDFS和COS都是存储，那COS的产生背景是什么？

HDFS的不足之处：

一，低延迟数据访问

1，比如毫秒级

2，低延迟与高吞吐率

二，小文件存取

1，占用NameNode大量内存

2，寻道时间超过读取时间

三，并发写入，文件随机修改

1，一个文件只能有一个写者

2，仅支持append

COS产生的背景

COS产生的背景其实就是结合HDFS的短板和未来大数据存储的需求产生的。

大数据存储的需求：

1、结构化数据、非机构化数据

2、热数据、冷数据

3、不同版本Hadoop的一致性

COS商品简介

对象存储（Cloud Object Storage，COS）是由腾讯云推出的无目录层次结构、无数据格式限制，可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。

腾讯云 COS 的存储桶空间无容量上限，无需分区管理，适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。

COS的存储类型

1.jpg

COS的功能

断点续传

就是信号中断后(掉线或关机等),下次能够从上次的地方接着传送(一般指下载或上传),不支持断点续传就意味着下次下载或上传必须从零开始。

对象与存储桶管理

自定义对象头部

对象头部（Header）是服务器以 HTTP 协议传输 HTML 资料到浏览器前所送出的字串。通过修改头部，可以改变页面的响应形式，或者传达配置信息，例如修改缓存时间，不会修改文件本身。

静态网站

静态网站是指只包含静态内容（如 HTML）或客户端脚本的网站。对于不需要展示动态网页的用户，仅需要使用 COS 服务就能完成从存储到展示的流程。用户可在 COS 上通过为网站配置存储桶（绑定了自定义域名的存储桶）来托管静态网站。

安全保障

Referer防盗链

通过设置存储桶的防盗链黑白名单，在外部请求 COS 资源时，判断 HTTP 请求头部（Header）的 Referer 字段是否在黑白名单中，从而禁止或允许外部请求。可以用来防止资源盗用及被盗用后产生的额外流量费用。

跨域访问

通过配置存储桶的跨域访问规则，实现了当 HTTP 请求与资源处于不同域的情况下的资源获取。

多地域存储

用户可以根据业务热点选择就近存储地域，减少资源获取延迟。同时，多地存储帮助客户实现异地容灾。

基础问题排障

1、cos默认域名url无法访问，提示 {"errorcode":-46616,"errormsg":"not hit white refer, retcode:-46616"}。

解决方法：确认下是否开启了防盗链限制了访问。

2、cos默认域名url访问报错（403、404、500等）。

解决方法：cos上是否存在改文件；

是否私有读写；

是否开启防盗链；

是否欠费；

是否存在文件、bucket、uin被禁。

3、创建存储桶失败。提示{“reqch the limit,policy full,fail to set access control......”}

解决方法：检查授权给bucket的策略是否达到1000条，目前默认上限为1000条。如果需要继续使用，可以将现有的object对象的授权类型改为继承，或者删除部分object资源，以减少授权的策略总数据量。在新对象上传时，建议使用继承类型上传，确保策略总数在上线范围内。