Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >腾讯云对象存储COS之间的数据如何进行迁移

腾讯云对象存储COS之间的数据如何进行迁移

原创
作者头像
云存储
发布于 2020-01-03 09:24:17
发布于 2020-01-03 09:24:17
2.8K0
举报
文章被收录于专栏:腾讯云存储腾讯云存储

原文请查看微信公众号:腾讯云存储

全托管公网迁移模式中,无需自主部署 Agent,任务创建之后自动化执行。腾讯云 COS 间迁移时 MSP 将通过内网拉取源对象存储桶数据并保存到目标对象存储桶,不会产生额外费用。

本文将详细介绍腾讯云 COS 间迁移,应如何配置全托管公网迁移任务,实现数据迁移

准备工作

一、腾讯云对象存储

1. 创建目标存储空间,用于存放迁移的数据。

2. 创建用于迁移的子用户并授予相关权限:

  • 登录腾讯云访问管理控制台。
  • 在左导航栏中选择【用户】>【用户列表】,进入用户列表页面。
  • 新建子用户,勾选编程访问及腾讯云控制台访问。
  • 搜索并勾选 QcloudCOSAccessForMSPRole 及 QcloudCOSFullAccess 策略。
  • 完成子用户创建并保存子用户名,访问登录密码,SecretId,SecretKey。

说明: 迁移服务也可以使用主账号操作,但是出于安全考虑,建议新建子用户并使用子用户 API 密钥进行迁移,迁移完成后删除。

操作步骤

一、登录迁移服务平台

1. 登录控制台找到迁移服务平台 ,在左导航栏中单击进入【迁移工具】页面。

2. 找到【文件迁移工具】模块,单击【立即使用】,进入文件迁移工具配置页面。

二、新建迁移任务

1. 在文件迁移工具页面,单击【新建任务】,进入新建文件迁移任务界面,进行迁移参数的设置。

2. 设置迁移任务名称。

3. 设置要迁移的文件来源。 此处迁移源服务提供商应选择腾讯云 COS,并在下方 AccessKey,SecretKey 文本框中输入先前新建用于迁移的腾讯云子用户SecretId,SecretKey。源对象存储桶列表可在填入密钥后单击下拉框右侧刷新按钮获取。

4. 选择文件存储方式。 根据迁移的需求,设定迁移后文件的存储方式,可以选择:标准存储、低频存储、保持原存储属性、归档存储

5. 选择 Header 设置。 如果源桶中的文件设定了 Header/Tag 并且需要在迁移后保留,请选择保留或设置替换规则。

6. 设定迁移规则。 选择对指定桶中的全部文件进行迁移,或仅迁移指定前缀的文件。

7. 指定迁移任务的开始时间。 如需在指定时间开始迁移,开启此开关并设定开始时间。

8. 设定最高并发数。 各公有云厂商的对象存储都有最高并发限制。为确保业务稳定,请在迁移前与源厂商确认并设置最高迁移可用 QPS。

9. 选择要迁移到的目标位置。 在迁移目标信息中,输入用于迁移的腾讯云子用户 SecretId,SecretKey。目标对象存储桶列表可在填入密钥后单击下拉框右侧刷新按钮获取。

10. 指定迁移到目标桶的指定目录。

  • 若迁移源与目标源有内容不同,名称相同的文件,建议在【同名文件】配置处选择【跳过(保留目标桶中已有的同名文件)】,系统默认选择【覆盖(源桶中的文件会覆盖目标桶中的同名文件)】。
  • 若在迁移过程中文件内容有变化,需要进行二次迁移。
  • 保存到根目录:直接将源桶中的文件按原始相对路径保存到目标桶的根目录。
  • 保存到指定目录:将源桶中的文件保持原始相对路径保存到指定目录中。

例如: 源桶中的文件/a.txt,/dir/b.txt两个文件,文本框中填写“dest”,那么迁移后这两个文件在目标桶中的路径为:/dest/a.txt,/dest/dir/b.txt。 如果文本框中填写dest/20180901,那么迁移后这两个文件在目标桶中的路径为:/dest/20180901/a.txt,/dest/20180901/dir/b.txt。

注意:若迁移源与目标源有内容不同,名称相同的文件,建议在【同名文件】配置处选择【跳过(保留目标桶中已有的同名文件)】,系统默认选择【覆盖(源桶中的文件会覆盖目标桶中的同名文件)】。若在迁移过程中文件内容有变化,需要进行二次迁移。

11. 选择迁移模式。

  • 新建迁移任务后立即启动全托管迁移:选择托管迁移,用户单击“新建并启动”后 MSP 服务将通过公网访问源存储进行迁移。
  • 新建迁移任务后手动下载 Agent 启动迁移:选择 Agent 模式迁移,用户在单击“新建并启动”后,将仅创建任务配置,需要用户手动下载 Agent 在迁移源一侧的服务器上部署之后才会正式启动迁移。Agent 模式适用于已有专线希望通过专线迁移的场景。

12. 单击【新建并启动】,即可启动迁移任务。

三、迁移状态和进度

在文件迁移工具主界面中,可以查看所有文件迁移任务的状态和进度:

  • “任务完成”状态,绿色是任务完成并且所有文件都迁移成功,黄色是迁移任务完成但部分文件迁移失败。
  • 单击“重试失败任务”链接后,该任务中失败的文件将会重试迁移,已经成功迁移的文件不会重传。
  • 单击“导出”链接可以导出迁移过程中失败的文件列表。

四、迁移完成时间

迁移速度由迁移过程中涉及到的每一个环节的最低速度决定,同时受到网络传输速度和最大并发数影响。

影响因素有:

影响因素

说明

迁出源的读取速度

数据源的读取速度因不同的服务商而不同,通常:传输速度在50Mbps - 200Mbps之间。文件读取并发在500 - 3000之间(大量小文件的传输受并发限制)。

MSP 平台的传输速度

MSP 平台提供最大200Mbps的迁移带宽。

迁入目标位置的写入速度

腾讯云对象存储 COS:写入传输速度200Mbps,写入并发500 - 800之间。整体迁移速度会是6MByte - 25MByte(即21GB/小时 - 87GB/小时)之间。

点击领取COS限时1元礼包!

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
自动构建 Hugo 博客部署至腾讯云对象存储 COS 并刷新 CDN
使用 Github Action,自动构建 Hugo 博客并部署至腾讯云 COS 静态存储,并触发 CDN 刷新。
慕阳MuYoung
2025/05/17
1930
自动构建 Hugo 博客部署至腾讯云对象存储 COS 并刷新 CDN
腾讯云文件迁移使用指南
迁移上云的时候,会有迁移上腾讯云对象存储(cos)的需求,目前的迁移方案有两种:1、cos提供的COS Migration工具;2、客户自己利用友商和cos的api实现文件的下载和上传。前者需要自己部署,迁移过程中出现问题,难以排查,后者需要自己研发、测试、部署运行,需要投入研发人力和机器成本。总结了一下迁移上到cos的过程中存在的一下几个需求:
Roy@Cloud
2018/07/05
8.8K1
腾讯云文件迁移使用指南
如何快速将第三方云存储数据迁移至腾讯云对象存储COS
对于使用第三方云平台存储的用户,对象存储 COS 支持以下两种迁移方式,帮助用户将第三方云平台的存储数据快速迁移至对象存储 COS。
云存储
2019/11/28
1.6K0
如何快速将第三方云存储数据迁移至腾讯云对象存储COS
腾讯云对象存储
  对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
别团等shy哥发育
2023/02/25
58.9K2
腾讯云对象存储
腾讯云对象存储 COS 高可用解决方案,都在这里了!
上一篇内容我们说到了 COS 是什么“要对象存储做什么,我有女朋友就够了!”的文章。本文将着重介绍如何尽可能的提高腾讯云对象存储 COS 的可用性。
云存储
2019/12/06
2.8K0
腾讯云对象存储 COS 高可用解决方案,都在这里了!
对象储存cos-腾讯云对象储存cos
COS是腾讯云提供的对象存储服务,功能非常强大,可以作为文件服务器,CDN加速,静态网页服务,还提供了图片的常用操作。
张天华
2019/08/01
24.8K0
对象储存cos-腾讯云对象储存cos
MSP迁移实践-对象存储迁移篇
常见的迁移场景中,通常用户需要先了解源和目标两端的访问方法,自己开发脚本实施迁移。这使得迁移的难度高、周期长,并且由于迁移并非用户熟悉的常规操作,经常会遇到意料之外的问题。
howardhwang
2019/07/03
2.2K0
MSP迁移实践-对象存储迁移篇
使用腾讯云对象存储搭建图床
平常在学习一些东西或者研究一些东西的时候会整理一下然后发到博客网站上,然后编辑时候一般使用的都是markdown格式,然后图片的存储有时候就很闹心,开始用的公共图床,但是没几天不是图片失效了就是图床网站倒闭了,然后现在很多网站都加限制防外链的。就想着自己搭建个图床,费用不高,可玩性较高,最主要资源自主管控,没有那么多限制。
愷龍
2023/02/26
6.9K0
使用腾讯云对象存储搭建图床
IDC、友商云数据上云(COS)最佳实践
本文从通用的数据上云场景,以及友商云数据迁移场景出发,介绍基于腾讯云对象存储(COS)的上云步骤,包括迁移前的环境准备工作,云上的配置与迁移工具的实施,数据的一致性校验,云上业务的切换与验证。
wainsun
2021/08/18
2.4K0
IDC、友商云数据上云(COS)最佳实践
如何实现客户对象存储数据迁移到腾讯云COS
在云计算客户的拓展过程中,会面临客户的各种需求。其中最常见的需求包括,如何在云计算上构建客户的业务系统,搭建基础架构;另外一个就是如何实现客户数据的高效存储,包括存储新产生的用户数据,以及将现有的用户数据平滑迁移到云计算上来,提供更方便,更快捷的访问。
张小波
2018/10/24
4.6K0
自建ES集群迁移至腾讯云ES的几种方案介绍
随着腾讯云Elasticsearch产品功能越来越丰富、产品体验越来越好。越来越多的客户将自建的ES集群或者部署在其他云厂商的 ES 集群迁移到腾讯云上来。为了更加方便快捷地帮助客户完成集群迁移工作,下面简单介绍下可提供的两种迁移方案,离线迁移和在线迁移。
吴容
2020/07/28
4.2K0
自建ES集群迁移至腾讯云ES的几种方案介绍
使用对象存储最低成本搭建静态网站
前期准备 准备:域名,对象存储COS存储桶,SSL证书及CDN ---- 准备内容 域名,很简单,在腾讯云直接注册即可:https://cloud.tencent.com/act COS对象存储:ht
Ar-Sr-Na
2020/05/31
9.9K1
使用对象存储最低成本搭建静态网站
腾讯云对象存储COS及CDN加速配置
访问密钥,不建议直接使用总账号生成密钥。推荐创建一个子账户,授予对象存储的权限即可,使用子账户的访问密钥
很酷的站长
2023/01/16
5.7K0
腾讯云对象存储COS及CDN加速配置
怎么将数据迁移到对象存储OSS?
用户希望将历史数据迁移到OSS上的用户目标存储桶。需要迁移的源数据可能来自某个OSS桶,也可能来自本地或第三方云存储(例如腾讯云COS)。等等,HTTP等。
用户7261497
2020/06/24
6.5K0
轻量对象存储 LighthouseCOS实践
如今互联网时代在高速发展,对网站的访问速度越来越高了,往往在图片加载的时候,会遇到卡顿、超时、缓慢的情况产生,从而需要将大量的文本类资源(如css、html、图片、txt文本)都可以通过云储存为商户实现了快捷稳定的服务。
用户10585271
2024/02/13
6.7K8
轻量对象存储 LighthouseCOS实践
腾讯云 Elasticsearch 运维篇(十三)数据迁移
前面我们通过通过腾讯云控制台快速构建了一个ES集群,并能通过云控制台管理界面或者CVM操作管理ES集群。我们知道ES是一个存储搜索分析引擎,那么如何让自己的现有的ES集群的数据跨平台的迁移到腾讯云上来呢??我们推荐ES官方的snapshot方法。下面为大概的过程(因为本人账号属于集体账号,处于安全考虑后面的部分过程粗略讲一下)
南非骆驼说大数据
2020/02/23
2.8K0
GitHub Actions + 腾讯云COS + SCF云函数 + 自动刷新CDN 完美自动化部署静态网站
作为强迫症患者,一直对自动化部署非常痴迷,个人认为全自动部署最重要的就是稳定可靠,经过研究测试,最终使用GitHub和腾讯云两大平台,成功完成了全自动部署网站的实践.
用户8851537
2021/07/30
1.6K0
腾讯云对象存储COS安全方案介绍
​相信所有企业和个人开发者在选用云存储产品时都把数据安全作为重要考量标准。 本文介绍了用户如何使用腾讯云对象存储COS的事前防护、事中监控、事后追溯三个手段来保证自己的数据安全。
云存储
2020/03/03
7.3K0
从友商迁移数据至腾讯云 ES
3、从快照中恢复数据,注意:在源集群中全量备份数据,恢复的时候,会有索引冲突的现象
shanizeng
2022/05/25
3.3K2
如何使用对象存储 COS ?七个步骤,帮你搞定!
腾讯云对象存储 COS(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务,用户可通过网络随时存储和查看数据。同时为用户提供了高数据持久性、高可用性、高性能的对象存储服务。
云存储
2022/02/25
9.2K0
如何使用对象存储 COS ?七个步骤,帮你搞定!
推荐阅读
相关推荐
自动构建 Hugo 博客部署至腾讯云对象存储 COS 并刷新 CDN
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档