首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    怎么做 HDFS 的原地平滑缩容?

    当数据规模越来越大,存储成本也水涨船高。随着时间推移,数据热度分布往往呈 2⁄8 原则,即 80% 的访问集中在 20% 的数据上。对于那不经常访问的 80% 数据来说,使用多个 SSD 来存储真是巨大的浪费,需要将冷数据迁移到其他存储成本更低的系统里。这时 JuiceFS 成了理想之选,成本下降 20 倍,同时又提供跟 HDFS 一样高性能的元数据能力(避免Metastore 遍历元数据时雪崩),大量扫描冷数据时也有很高的吞吐量。如果 80% 的数据转移到 JuiceFS 上来,整体成本可节省 90%。如果再给 JuiceFS 提供 适当的空间做缓存,还可以完整替换 HDFS (20% 的热数据通过 JuiceFS 管理的缓存盘来服务,也可以有极高的性能)。

    01

    Intel-Nvidia-mellanox网卡-PF_RING-零拷贝-网络-存储等技术汇总-拓宽技术视野-DPU技术群

    PF_RING™ 是一个 Linux 内核模块和用户空间框架,允许您高速处理数据包,同时为数据包处理应用程序提供一致的 API, 基本上每个人每秒都必须处理许多数据包。 术语“许多many”根据您用于流量分析的硬件而变化。 它的范围可以从 1.2GHz ARM 上的 80k pkt/sec 到低端 2.5GHz Xeon 上每核心超过 20M pkt/sec。 PF_RING™ 不仅使您能够更快地捕获数据包,还可以更有效地捕获数据包,从而节省 CPU 周期, PF_RING 是一个高速数据包捕获库,可将商用 PC 转变为高效且廉价的网络测量盒,适用于数据包和主动流量分析和操作。 此外,PF_RING 开辟了全新的市场,因为它可以通过几行代码创建高效的应用程序,例如流量平衡器或数据包过滤器.

    00

    Polardb X-engine 如何服务巨量数据情况下的业务 (翻译)- 2

    存储布局,上图显示了x-engine的架构,X-Engine 将每个表分成多个字表,并未每个字表维护一个LSM树,关联快照和索引,x-engine中的每个数据库中包含一个重做日志,每个LSM树由一个位于主存储器中的热数据层和一个位于NVM/SSD/HDD的数据处理层组层,热,温,冷不同的数据的层次在系统中存储在不同访问频率的层次中,热数据包含一个活动的内存表和多个不可变的内存表,他们是跳表,用于存储最近插入的记录,并缓冲热记录的缓存,这里不同访问频度的数据已树桩的结构组织数据,树的每个层级的存储有一个排序的extent序列来组织。extent 包含记录快以及关联的过滤器和索引。我们正在探索机器学习技术与数据访问拼读之间的关系。

    01

    扫码

    添加站长 进交流群

    领取专属 10元无门槛券

    手把手带您无忧上云

    扫码加入开发者社群

    相关资讯

    热门标签

    活动推荐

      运营活动

      活动名称
      广告关闭
      领券