京东第一个自建数据中心是位于宿迁的京东云华东数据中心,整体由4个模块和1栋综合大楼组成,总占地面积将近6万平方米,总投资30亿元。 可以提供20万台的服务器安装和运营能力,存储能力不小于32EB,计算
全国高性能计算学术年会(HPC China 2017)是中国一年一度高性能计算领域的盛会。它为相关领域的学者提供交流合作、发布最前沿科研成果的平台,强有力的推动了中国的高性能计算发展。10月19日,今
随着电子商务、云计算、大数据、人工智能、互联网金融等应用的快速发展,数据中心单体规模越来越大、系统越来越复杂,应对的挑战也越来越多。 一个好的数据中心需要通过科学的运维管理,充分利用技术和设备资源,将运行成本降到最低,同时能源利用率最大化。 京东在宿迁的自建数据中心,按照世界一流数据中心的理念设计和建设,也按照国际先进的运营管理模式投入运行。 作为数据中心生命周期中最重要的一环,如何针对基础设施,各种IT设备,信息与数据,应用软件等各方面展开数据中心的运维管理,为基础设施和信息系统提供稳定可靠的运行环境,确
想必很多小伙伴都有自己的博客,或者做过小Web,但是自己的Web真的健康么?目前是可访问的么?网站挂没挂?这些问题小伙伴们了解么,清楚么,或者用过相关的网站监控脚本么?所以,今天本文就是要做这样一个小脚本,来进行网站监控。
客户为金融企业对SLA要求及数据安全性很高,有限于考虑到业务的高可用性,采用混合云部署,业务流量入口为阿里金融云,前端可以添加安全设备WAF/CDN/高防IP等,之后Cname到统一入口SLB负载均衡上,后端采用虚拟服务器组,组内ECS部署在同Region的不同Zone,保障跨Zone的靠可用性,考虑到数据的安全性将数据持续化在IDC侧,阿里云与IDC通过云上部署深信服设备与IDC侧Cisco设备通过Ipsec ×××互联(考虑到稳定性目前已经实施专线互通),后端APP-Server与DB-Server部署在IDC,可参考下图:
本文编写于 205 天前,最后修改于 153 天前,其中某些信息可能已经过时。 1.环境:Centos7 2.运行一个容器 [root@idc ~]# docker run -it --rm --name=mynetwork --net=none centos:latest /bin/bash #--net=none:docker不对容器进行网络配置,无网络配置 #--rm:容器停止后会清空容器,对容器的设置都将被清除 #容器运行后,再克隆一个会话进行下面的步骤 3.创建容器的网络命名空间 [root@id
微服务优势之一是可缩小故障影响范围,局限在某个服务中。那一个服务出现故障该如何处理?
京东11.11全球好物节前夕,京东集团华东数据中心联通OTN数据传输精品网络开通仪式,在骆马湖畔、京东集团华东数据中心举行。这标志着宿迁联通将可以为京东商城客户提供高带宽、快速路由收敛、低时延的网络服
DCOS(Data Center Operating System)定位是数据中心操作系统,也称为基础设施管理,其本质就是用于支撑数据中心里对物理资源(如物理服务器和网络设备)生命周期进行自动化管理,比如CMDB数据导入、裸机资源发现、服务器OS部署、配置初始化、远程开关机&重启、服务器&网络设备的监控和告警等。
企业系统架构的形态为混合云模式,即IDC和云平台共同承载线上业务流量,来保证业务高可用。墨菲定律告诉我们,如果事情有变坏的可能,不管这种可能性有多小,它总会发生。如果IDC公网出口异常,IDC内业务要访问第三方服务,如何实现高可用呢?本文结合云平台公网能力,从网络平台角度来分析容灾建设可行性。
今天分享的内容分为两部分,前面一部分为携程网Ceph的具体实践讲解,后面一部分为携程工程师在Ceph中国社区针对Ceph应用的一系列问答
服务器托管,是企业用户自行配置好服务器之后,再将服务器放置在IDC数据中心机房内,由专业运维人员提供技术支持。这叫服务器托管。
9月27日,在北京国家会议中心举办的ICT中国高层论坛的高性能数据中心评选活动中,京东宿迁自建数据中心项目获得了2017年数据中心年度基础设施设计创新奖! 今年的ICT中国高层论坛邀请到工信部、电信运营商、华为、大唐电信集团、英特尔、诺基亚贝尔、中国信息通信研究院等高层,从中国城市信息化进程的角度,思考与探索5G、云计算、物联网、大数据、城市信息化等新科技对经济社会以及百姓民生的支撑作用和所产生的潜移默化影响,充分展示ICT领域创新发展成果。 工业和信息化部通信发展司黄业晶处长在论坛上特别提到,高性能数据中
明明是红灯,偏要闯过去,大家都知道闯红灯是违法的,但几乎每个人都闯过红灯,为什么?就因为违法成本低、很少有人管,而且即便闯了也很难被及时发现。
安全业务的核心逻辑在安全策略中实现。整个的策略开发流程包括特征数据的收集,安全策略的编写实现,和策略的反馈评估。其中特征数据的收集是必不可少的环节,数据的质量将直接影响安全策略的效果。
专线接入(Direct Connect,DC)提供了一种便捷的连接企业数据中心与腾讯云的方法,企业可通过专线接入建立与公网完全隔离的私有连接服务。
通过读系统日志文件的监控,过滤掉日志信息中的异常关键词,如ERR,error,Failed,warning等信息,将这些带有异常关键词的异常日志信息过滤出来,然后输出到zabbix,通过zabbix告警机制实现触发告警;下面环境是filebeat作为采集端;输出到kafaka消息队列,最后由logsatsh拉取日志并过滤,输出到zabbix
在本文中将介绍InfluxDB常用的基础操作,帮助读者建立对InfluxDB的感性认识,快速的动手玩起来,持续查询(Continuous Queies)、Group by、Series、行协议(Line Protocol)、InfluxQL等高级特性和细节,将会在后续文章中逐步介绍。
在全球化战略的背景下,Trip.com作为一个面向国际市场的全球OTA平台,正努力推进国际化战略部署。Trip.com火车票正在积极投入资源和技术力量来拓展海外业务,通过将应用、数据部署新加坡、法兰克福等中心,从而给全球用户带来更好的购票体验和减少数据合规带来的风险。
默认情况下,云上创建vpc中的cvm等资源无法直接和云下IDC直接进行通信。如有此类需求的场景,可通过以下几种方式进行联通【VPN、专线】。
微信自上线以来,一直没有自动回复的功能,想必是有他们的理念。但是有些人群,确实对此功能有一定需求,我举两个栗子:
微信作为月活过10亿的国民级应用,其安全能力备受关注。值得注意的是,没有足够的特征数据,安全策略将是"无根之木,无源之水"。微信安全数据仓库作为安全业务的特征数据存储中心,每天服务了万亿级的特征数据读写请求,为整个微信安全策略提供了可靠的数据支撑,是微信安全的一块基石。事实上,微信安全数据仓库不仅仅是一个存储中心,更是一个特征管理和数据质量管理的中心。本文将介绍安全数据仓库的起源、演进、当前的架构设计和数据质量保证系统的实现,请往下阅读。
目前,Internet上的数据量爆炸性增长,数据总量呈指数上升,IDC数据中心存储系统必须具有足够的容量以适应不断增长的数据量。 IDC数据中心存储需求之1.大容量 目前,Internet上的数据量爆炸性增长,数据总量呈指数上升,IDC数据中心存储系统必须具有足够的容量以适应不断增长的数据量。存储系统不光要有大量的现实容量,还应该具有很好的可扩展性,能根据数据量的增长提供无缝的、不停机的容量扩充。 IDC数据中心存储需求之2.高性能 信息是具有时效性的,对于企业而言,及时获得所需数据非常关键;对于ICP而言,较高的访问速度是服务质量的重要指标。对于宽带应用,存储系统的带宽要与网络带宽相适应。因此,存储系统的响应速度和吞吐率是IDC数据中心存储系统应该密切关注的问题。从历史上看,计算机速度的瓶颈已逐渐从20世纪80年代的CPU和90年代的网络带宽转移到I/O子系统。因此,要提高IDC数据中心存储系统的整体性能,存储系统的性能提高是一个关键问题。 IDC数据中心存储需求之3.高可用性 IDC数据中心存储系统存储了企业大量的关键数据,因此,必须保证这些数据始终是安全可用的。在任何情况下,例如系统产生错误或遇到意外灾难,数据都不能丢失。系统应具有快速故障恢复能力,保证应用系统永不停机(7×24小时不间断工作),数据始终保持完整性和一致性。 IDC数据中心存储需求之4.可管理性 IDC数据中心存储系统保存着大量的业务数据。对这些数据的管理不光体现在应用层的管理,还体现在存储系统的管理。这主要表现在集中的自动化管理,如数据按特定规则的备份、对系统性能和流量等特性的监测、存储设备的负载平衡等。 以上IDC数据中心存储系统特点需要用相应的技术进行保障。某些技术能在几个方面对存储系统做出贡献,特别是存储系统的管理渗透到整个系统的各个方面,我们很难把它从系统中单独分离出来。但作为讨论方便,我们仍从系统要求出发分别对上述特点进行讨论。 针对存储容量问题,现在最成熟的还是基于磁盘、光盘和磁带的存储技术。这些技术在很长时间内仍将占有主流地位。现在磁盘、磁带的存储容量每年增长1倍,基本上能适应数据的增长。在IDC数据中心存储系统,存储任务是由以上述技术为基础构成的存储系统来完成的,主要有磁盘阵列、磁带库和光盘库。新出现的SAN(存储区域网)、NAS(附网存储)和集群存储等新的网络存储结构为存储系统容量和性能的扩展提供了有力的支持。另外,数据共享技术在一定的条件下可以缓解容量问题。 对于高性能方面,在单个磁盘读写性能提升空间有限的前提下,并行I/O技术和Cache技术成为主角。并行I/O技术目前在国际上正被广泛研究,像磁盘阵列技术、多通道技术等已得到广泛应用。目前研究的重点是大规模并行I/O和多级存储技术,它们主要是从存储系统的整体结构入手,利用SAN和集群等技术进一步提高存储系统的整体性能。对于Cache技术,针对不同的应用(如数据库中事务处理方式、WWW方式等)采用合适的数据预取策略正被广泛应用。此外,采用光纤通道技术作为新一代存储接口已成为趋势,促进了存储系统性能的提高。 对于数据可用性问题可从多个层面进行讨论。磁盘阵列是一种最基本的高可用存储技术。在IDC数据中心存储系统,应选择双电源、双控制器、没有单点故障的磁盘阵列。对于系统层面,集群、SAN等技术也可以大大促进系统可用性的提高。另外,Standby技术、系统整体冗余、远程实时备份和灾难恢复等技术也是高可用性存储所不可缺少的技术。 我们看到,冗余磁盘阵列、存储区域网和集群技术对存储系统的各个方面都有较好的贡献,将这几种技术紧密联系在一起就构成了满足IDC数据中心存储系统要求的存储系统。对于IDC数据中心存储系统而言,这几种技术必然会得到进一步的重视。 存储管理贯穿于存储系统的各个方面。数据共享、无缝扩展、实时备份、容错技术、系统监控、流量控制、远程数据备份、灾难恢复等无一不需要相应的软件进行保障。对于IDC数据中心存储系统,高效、稳定、安全的存储软件是必不可少的,而这一点过去往往被人们忽视。现在,人们已开始认识到存储管理的重要性。著名IT企业,如IBM、Compaq、HP等,均推出了自己的存储管理软件,专业的存储软件公司,如VERTIAS公司,在存储软件方面更有全线的存储管理软件可供选择。 IDC数据中心存储系统作为一个整体,需要大量相互融合的技术进行保障。一方面要发展更好的技术,另一方面要把各种技术结合成为一个整体,提供稳定、安全、高效的整体解决方案。
11月10日上午,一架京东M系列机型的无人机飞到西安市长安区西樊村的上空,在1米高的位置悬停,抛下一件包裹后迅速升空离去,等待接货的乡村配送员随即打开包裹,将一件件商品送往各户,这个场景让周围的村民惊喜不已。进入双11以来,京东无人机在宿迁、西安、北京等多地同时投入运营,这意味着继今年618首飞之后,京东无人机在成熟应用领域又进了一步。 京东CEO刘强东于近日表示,无人机已获四省飞行许可,规划了大量的航线。京东无人机助力双11,不仅为广大农村客户带来便捷和惊喜,同时也体现了京东无人机技术给电商物流行业带来的
“ 在大数据时代面对海量的本地文件时,随着云存储的普及,越来越多的用户需要把海量数据从传统的本地存储迁移到新的分布式云基础设施上,这就需要快速高效安全的迁移方法。”
【名词解释】 腾讯数据中心经理:负责腾讯IDC整体运营管理和属地化管理工作,下文简称“数经”。 腾讯IDC运维工程师:负责腾讯IDC日常IT运维(服务器、网络)、IT资产管理或者IDC基础设施运维,主要分为服务器运维工程师、网络运维工程师、资产管理员、IDC基础设施运维工程师。下文简称“运维工程师”。 【前言】 2015年06月05日,首届腾讯IDC运维工程师培训与认证在深圳总部腾讯大厦圆满落幕,首批参训学员共计20人,其中18位学员通过了“腾讯IDC运维工程师(初级)”认证。此次活动获得了IDC平台部领导
但是使用的时候发现它不支持python3,同时代码中 bytes 和 str 对象傻傻的分不清楚,所以不得不进行了一下修改,修改后的版本在这里(可能有些地方并没有修改完善,以后使用过程中发现问题再做修改吧)。下面就对官方的介绍文档进行了一个翻译。
近日,全球知名国际权威市场研究机构IDC正式发布《中国人工智能与大数据技术现状及趋势分析,2022》,数说故事凭借在人工智能与大数据领域雄厚的技术实力,以及丰富的数据服务实践经验,入选本次报告“数据智能决策”热点技术的代表性厂商。
有些时候不能将url上的参数传来传去,比如与调用某开放平台上的接口,这时候可能需要借助Cookie来进行处理了,但这里可能又涉及到跨域的问题。
open-falcon的agent用于采集机器负载监控指标,比如cpu.idle、load.1min、disk.io.util等等,每隔60秒push给Transfer。agent与Transfer建立了长连接,数据发送速度比较快,agent提供了一个http接口/v1/push用于接收用户手工push的一些数据,然后通过长连接迅速转发给Transfer。agent项目之前是一个独立项目名字叫falcon-eye ,其自带有web页面来自于linux-dash项目。参考:https://book.open-
举个生活中简单的例子,以前的手机内存卡可以取出来,但是想和电脑之间传输音乐、视频等资料不能直接传输,需要通过USB读卡器,然后插入USB接口就可以传输了,这个USB读卡器就相当于适配器。
在某婚恋客户合作过程中,由于以前该客户的所有基础架构环境全部部署在客户自己的IDC中,但是该IDC建设于10年前,IDC已经使用很久了,而且是运营商IDC,外网带宽有限,资源机架扩展有很大局限,还出现过多次DDOS攻击,而且客户的技术团队人员基本都在深圳,在北京还配备了一个单独的机房本地巡检维护团队,因此该客户基于云的很多好处,考虑将业务迁移到腾讯云。
FlinkX是一个基于Flink的批流统一的数据同步工具,既可以采集静态的数据,比如MySQL,HDFS等,也可以采集实时变化的数据,比如MySQL binlog,Kafka等,是全域、异构、批流一体的数据同步引擎,大家如果有兴趣,欢迎来github社区找我们玩~
魏后民,腾讯云后台开发工程师,关注容器、Kubernetes、Cilium等开源社区,负责腾讯云 TKE 混合云容器网络等相关工作。 赵奇圆,腾讯云高级工程师,主要负责腾讯云容器网络设计和研发工作。 前言 混合云[1] 并不是一个新鲜的概念,但随着容器技术的发展,混合云与容器的结合正在得到越来越多的关注。通过容器等云原生技术,可以屏蔽混合云异构集群底层计算资源基础设施的差异,实现多云场景、IDC 场景乃至边缘等场景的统一。混合云将不再是公有云和私有云的简单结合,而是计算负载无处不在的分布式云,可以充分发挥
本篇讲述磁盘管理相关的命令。计算机中需要持久化存储的数据一般是保存在硬盘等辅助存储器中。硬盘一般容量较大,为了便于管理和使用,可以将硬盘分成一到多个逻辑磁盘,称为分区;为使分区中的文件组织成操作系统能够处理的形式,需要对分区进行格式化(创建文件系统);在linux中,对于格式化后的分区,还必须经过挂载(可简单理解为将分区关联至linux目录树中某个已知目录)之后才能使用。
单体应用只需管理一套配置,而微服务架构后,每个系统都有自己的配置,并且各不相同,有些配置还需要能够动态改变,以动态降级、切流量、扩缩容,那微服务架构下,到底服务配置该如何管理。
近日,IDC发布了一部关于人工智能的白皮书。IDC在白皮书中预测了2019年中国人工智能市场的十大发展趋势,并表示到2022年,中国人工智能市场规模将达到98.4亿美元。
"鹅厂网事"由深圳市腾讯计算机系统有限公司技术工程事业群网络平台部运营,我们希望与业界各位志同道合的伙伴交流切磋最新的网络、服务器行业动态信息,同时分享腾讯在网络与服务器领域,规划、运营、研发、服务等层面的实战干货,期待与您的共同成长。 经典科幻电影《2001太空漫游》中,有一个充满了神秘宗教意义的象征:黑石(黑色的方碑)。黑石每次的出现,都昭示了文明的转机。远古,黑石第一次出现,教会了猿人使用工具;2000年,黑石第二次出现,将人类从月球引向了木星,才有了之后2001太空漫游的故事。 时钟指向了20
经典科幻电影《2001太空漫游》中,有一个充满了神秘宗教意义的象征:黑石(黑色的方碑)。黑石每次的出现,都昭示了文明的转机。远古,黑石第一次出现,教会了猿人使用工具;2000年,黑石第二次出现,将人类从月球引向了木星,才有了之后2001太空漫游的故事。 📷 时钟指向了2016年—NASA的玩具车在火星上溜达了4年之后,人类仍然没有漫游到木星。同一年,腾讯云推出了一款叫做“黑石”的私有云产品,成功的把多个私有云大客户忽悠上腾讯云的大船,开始了在云世界中的“太空漫游”。在这块黑色的方碑上,汇集了TEG
腾讯拥有海量IDC资产的互联网企业,其中服务器、网络设备等IDC运营资产的数量巨大,资产种类繁多,仅服务器就有几十个品牌,几百种型号,同时在日常运营中对于资产的应用需求多、需求变化频繁。如何确保运营资产的安全、完整,提高运营资产的运营效率,是腾讯在发展中不可避免的严峻问题。 存在挑战 腾讯面对海量IDC运营资产的资产管理,遇到以下主要挑战 1.资产定义配置缺乏科学性和合理性:面对大量的运营资产,在实际使用中往往很难快速检索或精准定位,而且互联网企业由于行业的特殊性,运营资产的资产定义很难参考传统行业固定资产
云计算可以以较低成本和较高性能解决无限增长的海量信息的存储和计算的问题,使得IT基础设施能够实现资源化和服务化,使得用户可以按需定制,从而改变了传统IT基础设施的交用和支付方式。中国云计算当前呈现出以下三个方面的典型特点:2010年已经从概念宣传阶段,进入实质发展阶段;正处于私有云的研发试验阶段,计划向公有云转变;中小企业信息化是公有云发展的核心驱动力。 CWW的调查显示,中小企业信息化的主要问题是资金、技术和人才门槛过高。云计算所提供的基础设施使得中小企业无需购买硬件设备,无需专业技术人才就能够享受信息化
编者按:每每提到SDN应用第一反应就是数据中心,可见SDN在数据中心方面的应用得到了很大认可。SDN确实可以帮助数据中心挣脱目前的困境,但是SDN技术尚未成熟,还有一系列问题亟待解决。前途是光明的,道路是曲折的。 摘要: SDN是近年来继云计算后,学术界和产业界最关注的热点,被国际研究机构Gartner列为未来五年内IT领域十大关键技术之一。2012年,谷歌宣布已在数据中心内部骨干网络上成功使用SDN技术,标志着SDN进入到商用化阶段。据国际著名咨询机构IDC估计,2013年SDN的收入将达到3.6亿美元,
2018年9月16日,今年第22号超强台风“山竹”经过整整13天的酝酿之后,形成了中心风力高达18级以上的巨无霸,携带着狂暴的超能量由西太平洋北上,正面侵袭粤港澳大湾区,给腾讯数据中心运营保障带来前所未有的挑战。
导语 | 企业 A 是一家互联网公司,当前在云上计算资源已经接近 10W 核,华东地域专线流量 24G+,资源部署以华东为主、华北、华南、西南等可用区为辅。该企业属于典型的混合云架构,本文主要分享企业A如何通过云联网架构优化实现带宽利用率提升50%,希望与大家一同交流。文章作者:李彬文,腾讯云售后架构师。
这些解决后,就该考虑如何在集群中创建容器,即容器调度。 容器创建后如何运作才能对外提供服务,即容器调度。
本文介绍了现代化数据中心的概念、特点以及未来发展趋势,并探讨了现代化数据中心的价值。
一、业务背景: 业务方需要搭建一套hbase集群,数据来源是hive表。 集群数据规模:每天4.5kw个key,420亿条左右数据,平均每个key每天1000个记录。每天总数据量1.2T左右,3备份需要存储2年约2.5P。 为响应公司业务上云,通过腾讯云上EMR搭建hbase集群。hive集群是在IDC机房,和普通集群迁移相比,这涉及到跨机房、跨集群的数据迁移,以及hive表数据到hbase集群数据的转换。 二、技术方案步骤 1、IDC机房与EMR网络的联通性验证
领取专属 10元无门槛券
手把手带您无忧上云