首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    从安全和成本来看企业混合云的演变

    爆炸性的数据让企业考虑混合云存储来满足容量需求。但云的成本和安全问题需要解决。 各种规模的企业都面临非结构化数据集前所未有的增长速度。 增长的速度和使用的容量主要是源于捕捉和传输数据的物联网设备的快速部署。 许多小型企业正寻求公共云来帮助他们跟上这种爆炸性增长。 虽然他们的独特需求和成本现实要求小型企业与大型企业相比,寻求不同的云方案,但是,企业混合云方案可能可行。 企业混合云在企业内部数据中心中保存一部分数据,并在公共云存储设施中保存一部分。通常,企业内部存储保存大部分活跃数据,减轻公共云存储中固有的延迟

    04

    被热捧的云原生,和大数据怎么结合才能驱动商业?

    导语 | 近几年炙手可热的云原生首先由Matt Stine提出并延续使用至今,但其并没有标准的、严格的定义,比较公认的四要素是:DevOps、微服务、持续交付、以及容器,更多的则是偏向应用系统的一种体系架构和方法论。那么在云上如何改进大数据基础架构让其符合云原生标准,同时给企业客户带来真真切切的数据分析成本降低和性能保障是一个开放性的话题。本文由腾讯专家工程师、腾讯云EMR技术负责人陈龙在 Techo TVP开发者峰会「数据的冰与火之歌——从在线数据库技术,到海量数据分析技术」 的《云原生环境下大数据基础技术演进》演讲分享整理而成,与大家分享和探讨在云上如何实现存储计算云原生,以及未来下一代云原生大数据基础架构。

    05

    Cloudera和Hortonworks 合并的整体梳理

    0. 下一代的企业数据云     将创建世界领先的下一代数据平台提供商,涵盖多云,内部部署和Edge。该组合为混合云数据管理建立了行业标准,加速了客户采用,社区发展和合作伙伴参与。     我们两家公司的业务具有很强的互补性和战略性。通过将Hortonworks在端到端数据管理方面的投资与Cloudera在数据仓库和机器学习方面的投资结合起来,我们将提供业界首个从Edge到AI的企业数据云。这一愿景将使我们的公司能够在追求数字化转型的过程中推动我们对客户成功的共同承诺。     两个公司希望通过合并,创造出一个年收入达到 7.2 亿美元的新实体,并制定清晰的行业标准,成为下一代数据平台领先者,提供业界第一个企业级数据云,提高公共云的易用性和灵活性     一直以来 Hortonworks 团队投资于实时数据流和数据摄取以支持边缘的物联网使用案例,而 Cloudera 更专注于 AI 和 ML 领域,使数据科学家能够使用极其复杂的工具来自动化机器学习工作流。     Cloudera新的CDP平台会同时支持运行在本地,私有云,以及5个最大的公有云包括Amazon,Microsoft,Google,IBM和Oracle     第一个CDP版本将包含CDH6.x和HDP3.x中的一系列组件,并将专注于运行客户现有的工作负载和数据     两家公司对外正式宣称统一版本会基于最新的HDP3.0+CDH6.0     Hadoop 商业化最典型的公司就是Hadoop的三驾马车——Hortonworks、Cloudera和MapR。     昨天我们是 Hortonworks,今天,随着我们合并的正式完成,我们是 Cloudera——现在是全球第二大开源软件公司。”,目前全球第一大开源软件公司仍旧是红帽。 1. 新的趋势     1.1 企业向公有云转变(aws,azure,google cloud)         hadoop/spark 只是其一部分     1.2 云存储成本底 对象存储服务(aws s3,axure blob,google 云端存储)         比hadoop/spark 便宜了5倍     1.3 云服务器 以完全不一样的方式解决了同样的问题,运行即席查询         用户按计算时间计费,无需维护操作hadoop/spark集群     1.4 容器,kenernates和机器学习,今天在python/R语言下进行机器学习,容器与kubernates 为分布式计算提供了更加强大灵活的框架         不打算基于hadoop/spark 进行分发心得饿微服务应用程序 2. 产品影像     2.1  毫无疑问         对于一些无论是Cloudera还是Hortonworks都打包的较为通用的的组件,基本可以毫无疑问的确定会包含在统一版本中。具体包括核心的Apache Hadoop项目如MapReduce,HDFS和YARN - 以及Apache Spark,Apache Hive,Apache HBase,Apache Kafka,Apache Solr,Apache Oozie,Apache Pig,Apache Sqoop和Apache Zookeeper。             我们对新兴的对象存储项目Apache Hadoop Ozone的信心略有不足     2.2 存疑的          有一些开源项目目前仅包含在CDH或HDP中,而Cloudera也没有与之专门对标的产品,它们是否能包含在合并版中目前还存疑。比如说Apache Kudu和Apache Impala,这2个最初都是由Cloudera开发的,用于提供列式数据存储和ad hoc的分析,而最近Hortonworks引入了Apache Druid与之对应。     2.3 有争议的         Apache Ambari直接与Cloudera Manager竞争,再比如Cloudera使用Cloudera Navigator来实现数据治理和数据溯源,而Hortonworks则使用Apache Atlas。     Cloudera将清楚地意识到任何关于它想要扼杀开源功能的建议都将被认为是“大棒”,而不是“胡萝卜”,它将不会被Hortonworks客户和Apache软件基金会开发社区所接受。这是我们认为Cloudera如果想要退出开源需要很谨慎的考虑的另一个原因 - 至少在短期内如此     注:“Carrot and stick”(胡萝卜加大棒)

    01

    安徽交控集团云平台:科大讯飞 2726万(中)、科大国创 2930万(落)、和信科技 2988万(落)

    2022年4月21日,安徽省交通控股集团有限公司发布《大数据中心(一期)建设项目云平台建设项目》招标公告,合同估算价约 3072 万元。 项目概况: 安徽交控集团大数据中心为交通基础设施产业、公共出行服务产业、地产综合开发产业、现代金融投资产业等全部业务提供数据服务,积极推动集团内部及对外资源共享、跨界融合、协同发展。 安徽交控集团大数据中心整合数据存储与数据治理技术,打造数据云平台与数据中台组合体系。建设云机房、云主机、云存储、云网络等信息化基础设施,为集团各单位应用系统的数据存储、网络安全、分析计算等

    04

    消除数据孤岛、筑起Snowflake“护城河”,数据云是中台的下一站吗?

    作者 | 北京酷克数据科技有限公司解决方案架构师 陈义贤 自 2015 年阿里率先提出的“大中台、小前台”战略以来,很多企业把数据中台当做是加速数字化转型的关键因素之一。如今数据中台已经度过了“七年之痒”,迈入第八个年头,我们看到了数字化进程在持续加速,技术更新迭代也愈加迅速。 近些年来,随着 5G、AI、物联网等技术的普及应用,数据应用场景被释放,数据源不断丰富,数据量持续快速攀升。云原生技术使企业组织能在公共、私有和混合云等现代动态环境中构建和运行可扩展的应用程序,成为数字化技术发展的主流,该趋势也开

    03

    关于云计算的海量数据存储模型[通俗易懂]

    随着越来越多的人使用计算机,整个网络会产生数量巨大的数据,如何存储网络中产生的这些海量数据,已经是一个摆在面前亟待解决的问题。现 在常见的三种存储方式是DAS、NAS 和SAN,但是面对网络产生的越来越多的数据,这三种方式的缺点就明显的暴露出来。DAS 存储方式可扩 展性差,系统性能低,存储分散。NAS 虽然使用方便,成本低廉,但最是存储性能差。SAN 存储效能优异,能大幅提升网络上工作效能与资料传 输效率,但是其架构为封闭式架构,无法整合不同系统,且规模过大成本较高。 2006 年底,Google 第一次提出了“云”的概念,为我们更好的处理网络中产生的海量数据带来了希望。 本文提出的基于云计算的海量数据存储模型,是依据云计算的核心计算模式MapReduce],并依托实现了MapReduce 计算模式的开源分布式并 行编程框架Hadoop[3],将存储模型和云计算结合在一起,实现海量数据的分布式存储。

    01

    【干货】钱塘数据特邀专家杜登斌——产业大数据创新应用【内含PPT】

    产业大数据创新应用 ——“产业+大数据+金融”的产业升级转型创新思路 5月31日,中润普达(集团)公司董事长杜登斌在出席首届中国(杭州)工业大数据产业发展高峰论坛时,从自己的人生经历出发,带领与会者走近“互联网+”时代的大数据发展现状和未来。开篇“下一个百万亿商业时代在哪里”的探讨使大家充满期待;对“以数据资产为核心的大数据产业金融技术创新与应用”的分析稳扎稳打步步深入;“数据产业金融创新应用需要突破的问题”教人持续思考,关注更有价值的未来市场。 产业互联网将是下一个百万亿商业时代 首先,杜登斌谈了对“互

    011

    同态签名的妙用:云数据完整性审计技术(一)

    随着数据规模增长,越来越多的用户选择将他们的文件外包存储在第三方的云服务器上。然而,数据的外包会带来一系列的安全问题,例如云服务器的硬件故障、黑客入侵篡改等会导致用户数据的损坏。更严重的是,云服务器为了保护自己的声誉可能掩盖数据受损的事实,甚至会伪造用户的数据。云数据完整性审计技术是一种关键的数据安全技术,用来解决上述的问题。本系列文章聚焦在云数据完整性审计技术,分别介绍1)云数据完整性审计技术的背景及密码学技术;2)保证低熵值安全的,并且实现文件和认证器去重功能的云数据完整性审计方案。3)基于关键词且实现敏感信息隐藏的云数据完整性审计方案。本文作为第一篇,将从相关背景、密码学知识、协议流程以及研究现状进行介绍,使得读者对云数据完整性审计技术有一个入门级的基本了解。

    02
    领券