首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

腾讯+,助力领域技术发展

计算时代和互联网持续高速发展的今天,数据和服务规模迅速升级,传统维面临着许多新型挑战,如何结合DevOps理念,解决计算时代的难题?...为了更好地推进领域技术交流发展,并且让更多的企业能够完成向计算的转变,腾讯云和织云联合举办“腾讯干货” 系列沙龙。...每期沙龙将会邀请腾讯领域专家,分享计算时代的思考和实践,并且为参加沙龙活动的人员提供一定金额的腾讯代金券,帮助大家0门槛体验腾讯上各类产品,而针对企业用户,腾讯+创业”计划更是能给出高达百万的资扶持...[图片] (腾讯技术总监梁定安) 出品人大梁宣布了腾讯与织云的“6+6技术沙龙...空间的异地多活的实践分享,从业务的分布规划、条带化梳理、容量管理与数据同步方案,再到调度系统设计、容灾容错的演习和柔性有损的思考,有血有肉的讲述了QQ空间运团队是如何在经历无数的坑与锅后,建成了一套成熟的的异地多活体系

4.9K10

腾讯 Elasticsearch 篇(十三)数据迁移

前言 前面我们通过通过腾讯控制台快速构建了一个ES集群,并能通过控制台管理界面或者CVM操作管理ES集群。...我们知道ES是一个存储搜索分析引擎,那么如何让自己的现有的ES集群的数据跨平台的迁移到腾讯上来呢??我们推荐ES官方的snapshot方法。...步骤 首先:你需要登录到腾讯控制台的COS(对象存储服务)项去新建一个bucket桶,并命名为自己习惯的名字 其次:在Kibana命令行下去新建一个仓库,将其映射到腾讯 image.png 如果报下面的错...需要跨厂商的迁移,可以选择使用 snapshot 的方式进行迁移,例如从阿里 ES 集群迁移至腾讯 ES 集群。...2,elasticsearchdump 工具和 MySQL 数据库用于做数据备份的工具 mysqldump 类似,都是逻辑备份,需要将数据一条一条导出后再执行导入,所以适合数据量小的场景下进行迁移。

2.7K50
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    =平台+数据

    其实我个人认为系统架构师应该都安排在运里,开发团队应该率属于团队才好。 进入时代后,中等层次的慢慢会被淘汰,底层次的会越来越少,高水平的需求量则日益增长。为什么这么说呢?...时代背景下,低层次的主要按章循干活即可,而高层次的则需考虑系统架构设计,以及构建自动化的系统。...发展新方向 之前我写过一篇文章,谈及如何用大数据思维做,当然这篇文章有他自己的局限性,只是谈及了监控,灌输一种 data based 的理念。...一切服务都是为了帮助数据进行流转和变换,服务的状态也都反应在数据流上,这种瞬态和终态的量是非常大的,所以我们需要借助大数据的思维去做处理。 到这里就可以参考大数据思维做灌输的概念了。...所以未来可以完全依托一个固定的分布式操作系统,在其上开发各种工具,利用大数据相关的理念和工具,监控,追踪,分析服务的状态,解决现有的工具碎片化,难以复制,难于贡献生态的问题。

    3.5K50

    Hyper容器

    关于Hyper,大家比较好奇,本文将从三个方面重点分享Hyper的原理和容器:从Docker到Hyper Container,Hyper Container用于公有,容器的变化。...容器的变化 最后想分享一下我对于容器时代的一些思考。在容器时代,很多运理念跟以前不太一样了。 资源视角。以前,资源就是机器,不管是物理机还是虚机。...传统的都会有一套配置管理的工具(例如Puppet)来保证集群中每台机器的配置一致,但是在容器时代,一个应用所需要的依赖、配置全部打包进镜像里了,Puppet就不再需要了。...传统的方式,就是就是把应用的二进制文件编译好了扔到服务器上,替换旧的,重启服务,发现有问题赶紧把旧文件换回来,回滚服务,这是典型的变更方式。...一开始可能很不适应,但是我相信未来的趋势是容器,我们要往这个方向去努力。

    3.1K70

    腾讯干货沙龙-海量实践大曝光 (三)

    作者丨周小军,腾讯SNG资深工程师,负责社交产品分布式存储的及团队管理工作。对互联网网站架构、数据中心、计算及自动化等领域有深入研究和理解。...根据运营指标,按历史性能数据、容量模型和业务架构,评估出春节活动需要2万台虚拟机和3千台数据库服务器扩容支撑。 节前恰好遇到厂商内存供货问题,服务器供应非常紧张,采购比原计划延期了一个多月。...3.2.2 一键扩容 [图片] 在我们强大的织云自动化平台支撑下,我们的业务模块都是一键式扩容模式,也称一键上。一个模块下的上百台设备,整个扩容流程跑完只消耗5分钟时间。...织云高效的实践是,它是以标准化为基石,以 CMDB 为核心的自动化平台。通过 Web 界面的一键式上,基于业务原子任务和流程引擎,形成一个完整的流程,最后并行执行。...相关文章 腾讯干货沙龙-海量实践大曝光 (一) 腾讯干货沙龙-海量实践大曝光 (二) 沙龙PPT下载地址: https://share.weiyun.com/5c406a57164ed4cf7e248160aebf74c3

    4.9K10

    的未来:服务兴起,人员会“下岗”吗?

    传统的( Ops)没有消失,只是在重组。 服务的发展看起来让人员“丢”了工作,因为从传统意义上说,从本地(on-premise)转移到平台意味着工作在相当大程度上外包给提供商。...现如今的团队,应该重新定义他们的愿景。 的未来是要使开发者能够通过工具、自动化和流程实现自助服务,并使他们能够通过最小的干预来部署并运行服务。...其实新模式本质上应该把看作是一个产品团队,其产品就是基础设施。...DevOps 在很多方面正让开发者跟人员感同身受。新正好相反。殉道者式的团队相当自以为是,他们根本没有做好足够的工作将权利和责任转给开发团队。...随着工作转移到,它需要给予开发团队更多的权利和信任以重塑自身,而不是“闭关锁国”。 长存! 【本文转自 36氪 】

    3K40

    腾讯干货沙龙-海量实践大曝光 (二)

    作者丨魏旸:腾讯高级工程师,具有15年经验的专家。负责QQ空间、微云、QQ空间相册等的工作。 12月16日,首期沙龙“海量实践大曝光”在腾讯大厦圆满举行。...沙龙出品人腾讯技术总监、复旦大学客座讲师、DevOps专家梁定安,讲师腾讯手机QQ负责人郭智文,腾讯高级工程师魏旸,腾讯SNG资深专家周小军出席沙龙,并带来精彩的技术分享。...同时深圳的PC或者移动端用户更新了空间,数据需要同步到其他地域的后端存储上,空间有一套专用的同步中心架构来保证数据同步。...简单介绍一下同步中心的架构:单写多度的业务讲数据接入同步中心后,同步中心通过多种技术手段保证数据同步到多地的读SET。...[图片] [图片] 相关文章 腾讯干货沙龙-海量实践大曝光 (一) 腾讯干货沙龙-海量实践大曝光 (三) 沙龙PPT下载地址: https://share.weiyun.com/5c406a57164ed4cf7e248160aebf74c3

    8.4K10

    腾讯干货沙龙-海量实践大曝光 (一)

    作者丨郭智文:腾讯高级工程师,手机QQ负责人。...12月16日,首期沙龙“海量实践大曝光”在腾讯大厦圆满举行。...沙龙出品人腾讯技术总监、复旦大学客座讲师、DevOps专家梁定安,讲师腾讯手机QQ负责人郭智文,腾讯高级工程师魏旸,腾讯SNG资深专家周小军出席沙龙,并带来精彩的技术分享。...业务同事通过腾讯网络中心联系到重庆联通网络负责人,经过多轮沟之后,确认确实是运营商在凌晨时段割接网络引起,运营商与厂商经过两次调整最后故障才得以解决。...总结 相关文章 腾讯干货沙龙-海量实践大曝光 (二) 腾讯干货沙龙-海量实践大曝光 (三) 沙龙PPT下载地址: https://share.weiyun.com

    5K30

    时代,如何保障安全?

    三、 安全审计系统——堡垒机堡垒机,一个在特定的网络环境下,为了保障网络和数据不受来自外部和内部用户的入侵和破坏,运用技术手段监控和记录人员对网络内的服务器、网络设备、安全设备、数据库等设备的操作...1、相比于传统,更注重安全性,这是因为环境相比于传统IDC,接入端口面向整个网络,这样就造成接入方的不可控,要增强资产的安全性,除了环境本身的安全配置,对于过程中也需要减少可攻击面。...2、需要连接的资产有上和下两种,并且上环境中需要连接多个平台,需要动作做到多云资产管理。...3、往往需要应对多租户模式的环境,这就需要人员必须满足最小授权机制,多个租户的使用人员从软件上进行隔离,避免租户信息的泄露。在复杂的环境中,如何实现呢?...首先需要建立一个完整的云安全体系架构,包括网络安全、主机安全、数据安全等方面。其次,在选择审计产品时需要考虑其与平台集成的能力,以便更好地管理和监控环境中的资源。

    31130

    计算下的企业IT

    计算管理员们一般都工作在一个分布式局域网计算基础设施中,它与传统数据中心最大的区别之一就是,所有被存储、调配和管理的数据都在一个私有云中。...收集计算性能指标 IT管理员们必须积极主动地收集和记录计算服务器的性能指标与数据,这主要是因为托管计算工作负载的大多数服务器都是需要使用专用资源的虚拟机。...网络设计:网络及其架构在计算基层设施与工作负载中起了一个非常重要的作用。监控数据中心和计算内的网络将有助于确定特定速度需求。...通过理解计算服务器是如何运行以及了解最终客户需求,管理员们可以确定合适的物理基础设施规模以便于支持虚拟实例。 工作流程自动化的优势   主动计算工作负载监控可执行收集指标和统计数据的任务。...当用户访问一个计算中的工作负载时,管理员们就可以查看他们所使用的连接类型、数据如何传至端点以及是否有任何修改。

    2.1K30

    计算:拼的是

    对于计算工程方面,现在最难的是。管100台、1万台还是100万台机器,那是完全不同的。机器少你可以用人管理,机器多是不可能靠人的。...维系统不属于功能性的东西,用户看不见,所以这是被大家严重低估的东西。只要你做大了,就必然要在运维系统上做文章。数据中心/计算拼的就是能力。 为什么我说比较复杂,原因有这么几个。...所以,没什么好想的,就必须要跟上。计算的目标是在故障成为常态的情况下保证高可用——也就是我们所说的,你服务的可用性是3个9、4个9还是5个9。...换句话说,我们需要自动化的、主动的。 为了数据的高可用性,你只能使用数据冗余,写多份到不同的节点——工业界标准写三份是安全。然而,你做了冗余,又有数据一致性问题。...另一方面,正如前面所说的,是件很难的事,这个事并不是一般人能搞的事。没有足够的场景、经验和时间,这种能力很难出现。

    3K90

    Linux计算之Shell

    ~ B 判断字符串A中是否不包含能匹配B表达式的子字符串 动作(Action): 格式化输出 流程控制语句 sed命令 sed主要是用来将数据进行选取、替换、删除、新增的命令,我们看看命令的语法...: sed 【选项】‘【动作】’ 文件名 选项 : -n 一般sed命令会 把所有数据都输出到屏幕,如果加入此选择,则只会把经过sed命令处理的行输出到屏幕。...-e 允许对输入数据英语多条sed命令编辑。...添加多行时,除最后一行外,每行末尾需要用“\”代表数据未完结。 c : 行替换,用c后面的字符串替换原数据行,替换多行时,除最后一行外,每行末尾需用“\”代表数据未完结。...插入多行时,除最后一行外,每行末尾需要用“\”代表数据未完结。 d : 删除,删除指定的行。 p :打印,输出指定的行。 s :字串替换,用一个字符串替换另外一个字符串。

    5.7K30

    计算下的企业IT

    计算管理员们一般都工作在一个分布式局域网计算基础设施中,它与传统数据中心最大的区别之一就是,所有被存储、调配和管理的数据都在一个私有云中。...收集计算性能指标   IT管理员们必须积极主动地收集和记录计算服务器的性能指标与数据,这主要是因为托管计算工作负载的大多数服务器都是需要使用专用资源的虚拟机。...网络设计:网络及其架构在计算基层设施与工作负载中起了一个非常重要的作用。监控数据中心和计算内的网络将有助于确定特定速度需求。...通过理解计算服务器是如何运行以及了解最终客户需求,管理员们可以确定合适的物理基础设施规模以便于支持虚拟实例。 工作流程自动化的优势   主动计算工作负载监控可执行收集指标和统计数据的任务。...当用户访问一个计算中的工作负载时,管理员们就可以查看他们所使用的连接类型、数据如何传至端点以及是否有任何修改。

    2K60

    VMware管平台管理

    摘要 跨 SDDC 和多云环境从应用到基础架构的智能 IT 管理。...其中有三大块内容,一个是自动化部署的vRA,一个是做智能的vR Ops,以及做成本分析的vRB,这三块共同支撑起了管平台。 这期我们重点来介绍vR Ops。...vRealize Operations——智能化 在整个平台中,vRealize Operations实现了性能的管理、容量管理、成本管理、配置管理以及合规性管理。...通过性能和容量监控vSAN环境。 SDDC健康概览仪表盘 单一控制台监控整个SDDC的状态。 扩展支持。...使用vRA,利用分析优化工作负载的初始部署位置。 应用案例及常用使用场景 平台特点 负载动态变迁,运行环境不固定,状态难以跟踪。 配置变化更快,资产生命周期短,统计分析难。

    8.2K50

    数据中心网络的苦与乐

    由于大家对 SDN 有多种不同的理解,在本文中我想把话题聚焦一下,落到数据中心的网络这个点上,分享一些中的实际例子。没有大的篇章,只说说我们遇到的那些苦与乐。...以前数据中心的网络比较简单,那时数据中心的网络也比较干净;后来随着虚拟化技术的进入,这个网络变得复杂起来。...以前看到的网络是“租户—数据中心—运营商”,现在看到的网络在数据中心和租户之间多了一个“平台”——这里增加了一个复杂的拓扑层。...❆ 网分析的技术栈 虽然目前界都在谈自动化,但我们希望更进一步——要有一个智能的解决方案,这样人员才能有一个好的睡眠。...就这样,从一段数据中提取特征、制定规则、下发网络、再观察/采集数据,如此循环。 ❆ 关于大数据分析 我们做了一些基础的工作来解决场景的问题。

    1.6K70

    原生时代数据体系演进

    一、原生时代数据挑战图片1.1 数据体系演进从数据体系的演进历程来看,1、2000年左右,PC互联网时代兴起,商业数据库是市场主流,而开源数据库方兴未艾。...在数据领域,则自然衍生出了计算的一个分支概念,DaaS,data as a service,数据库的方式因此由人工脚本方式转变为了数据库平台的方式。...1.2 原生时代挑战这样的时代背景下,我以为数据主要有三个方面的挑战:原生时代应用架构普遍微服务化,一个系统拆成多个微服务,这个系统的数据库也分拆成多个。...这导致数据库实例成倍增加,数据库的工作量也成倍增加。因此大规模数据库实例如何有效?这就是第一个挑战。原生理念应用架构层面的弹性伸缩,自然也要求数据库层面做到弹性伸缩。...个人期望用这样的开源平台来承载数据库厂商,数据库生态工具开发者以及企业用户对数据库服务共建的诉求,加速数据库服务建设速度,让原生时代没有难数据库。

    1.7K40

    计算:拼的就是

    本文根据InfoQ跟陈皓(@左耳朵耗子)在2014年3月的一次聊天内容整理而成,在沟通中,陈皓分享了自己对计算的理解,包括计算为什么会分三成,实现一个平台的难点在什么地方,至于计算的重要性,...维系统不属于功能性的东西,用户看不见,所以这是被大家严重低估的东西。只要你做大了,就必然要在运维系统上做文章。数据中心 / 计算拼的就是能力。 为什么我说比较复杂,原因有这么几个。...换句话说,我们需要自动化的、主动的。 为了数据的高可用性,你只能使用数据冗余,写多份到不同的节点——工业界标准写三份是安全。然而,你做了冗余,又有数据一致性问题。...另一方面,正如前面所说的,是件很难的事,这个事并不是一般人能搞的事。没有足够的场景、经验和时间,这种能力很难出现。...正好平台出现了,再怎么样,阿里的能力也要比你商家的要强吧。你看,聚石塔卖的是服务,不是主机。

    2.9K40

    相关指标数据采集并ES入仓 - 笔记

    收集到的应用指标数据最好要进行ES入仓,入到Kafka里面,并通过Kibana可视化展示。 需要进行采集的应用进程相关指标如下: ?...指标值 indexValue CHAR 是 支持批量 指标类别 indexType CHAR 是 安全 测试 运行 应用 环境 指标描述 indexDesc VARCHAR 是 指标说明,指标采集数据源...legao……) 采集时间 collectTime TIMESTAMP 是 支持批量 应用名称 appName CHAR 是 以AIOPS的3位编码为准 主机名 hostName CHAR 否 发送数据源主机...dataSource CHAR 是 脚本路径@主机IP 下面是应用指标数据进行ES入仓的请求说明 测试区接口说明: 访问链接:http://192.168.10.10:10222/haha/heiheiAPI...bash shell生成时间戳示例 date +'%s' # bash shell请求示例 curl -s -XPOST -H "Content-Type:application/json" -d 请求数据

    1.5K31
    领券