大数据与微服务架构

代码在线跑，知识轻松学

Python精品学习库

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

博客搬家 | 分享价值百万资源包

往期视频·干货材料·成员作品 最新动态

技术创作特训营·精选知识专栏

新邀入驻腾讯云开发者社区，福利多多！

如何运用「云、端融合的数智化安全体系」高效护航数据安全

左手AI，右手安全 —— 一汽丰田数字化转型之路

指公司所有产品和系统的整体结构和布局，在设计一套新系统必须考虑如何和公司现有系统架构融合，不同系统的模块之间如何衔接

B端产品的决胜之路

②后半部分：解决方案 ->  目标 ->  计划【时间表、组织架构、预算等】（让听众认同“观点”）

你就是干不过做PPT的

四、使用API获取集群节点信息（http,thread_pool,transport,jvm,os,process.....）

ElasticSearch亿级数据检索深度优化

Neo4j是一个NoSQL的图数据库管理系统，图是一个比线性表和树更高级的数据结构。具有始终保持高效查询性能，不会因数据的增长而降低查询的反应能力，具备事务管理特性，完全支持ACID事务管理。

高性能NoSQL图数据库Neo4j

ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。

超快！大数据分析引擎ClickHouse

索引（相当数据库，包含行（代表文档）和列（字段）的表）、副本（用于控制查询性能及数据故障）、分片（每个分片就是一个Lucene索引）

ElasticSearch Server 扩展的弹性搜索解决方案

RAID（Redundant Array Of Independent Disk，独立磁盘冗余阵列）,可以提供比普通磁盘更快的速度、更高的安全性，生产环境中服务器在安装时一般都会做RAID，RAID的创建有两种方式，一种是软RAID（由操作系统来实现，生产环境下一般不采用，因为是基于系统，所以一旦系统挂掉了，数据就挂了），另一种是硬RAID（使用的是RAID卡，也叫阵列卡等的一种独立于系统之外的卡，当系统挂掉之后可以保证磁盘数据的安全性）。

RAID 0、1、5、1+0总结

OceanBase是阿里集团研发的可扩展性关系型数据库，实现了数千亿条记录、数百TB数据上的跨行跨表事务。


千亿级海量数据库OceanBase

牛津大学职业研究分析报告可以看到，大数据智能时代首先取代的是比较有规则的职业，如重复性、机械性的会被淘汰，终身学习、人文沟通、信息化与数字化、智能协作等方面的能力将越来越重要。


大数据时代个人学习篇

连接资源耗尽、分布式缓存容量被撑爆、数据库吞吐量降低，最终引起系统雪崩。2、应对高并发、大流量的常规手段：

大流量限流与消峰方案

1、缓存是指将被频繁访问的热点数据存储在距离计算最近的地方，以方便系统快速做出响应。

缓存技术-大促场景下热点数据的读/写优化方案

分布式协调服务是分布式应用中不可缺少的，通常担任协调角色，比如leader选举、负载均衡、服务发现、分布式队列和分布式锁


分布式协调服务ZooKeeper

YARN作为一个通用的资源管理系统，目标是将短作业和长服务混合部署到一个集群中，并为他们提供统一的资源管理和调度功能，概括起来主要解决以下两个问题：1.提高集群资源利用率，2.服务自动化部署。

资源管理与调度系统YARN

Presto设计精巧，可以处理海量数据，最大化地利用硬件性能，计算全部在内存中完成，很好的利用高速网络来进行数据调度。性能基本上是Hive的10倍。

大数据查询引擎Presto

   因为工作需要用到oozie，但是网上的资料越看越迷茫，经过很大的努力，终于折腾清楚了，这里，做一个总结，帮助后来者更好地进行入门，当然，粗鄙之言，难免疏漏，欢迎交流指正。

大数据工作流Oozie

目前常用的流式实时计算引擎分为两类：面向行和面向微批处理，其中面向行的流式实时计算引擎的代表是Apache Storm，典型特点是延迟低，但吞吐率也低。而面向微批处理的流式实时计算引擎代表是Spark Streaming，其典型特点是延迟高，但吞吐率也高。


流式计算引擎-Storm、Spark Streaming

交互方式-用户接口：CLI（linux命令行）、WUI（hive web页面）、Client（连接远程服务HiveServer2，eg：JDBC、ODBC）

Hive-数据仓库

容器：又称“集装箱”，其核心技术是Cgroups和namespace。容器技术通过namespace实现资源隔离，通过Cgroups实现资源控制。

Docker的基本概念

Zookeeper：保存集群元数据和消费者信息，broker和主题元数据、消费者元数据分区偏移量

分布式消息队列Kafka

每天写入量巨大，而相对读数量较小的应用，不需要复杂查询条件来查询数据的应用，HBase只支持基于rowkey的查询

HBSAE-NoSQL 非关系型数据库

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋 

腾讯云代码助手

CODING DevOps

Cloud Studio

SDK中心

API中心

命令行工具

腾讯云开发者社区推出了大数据与微服务架构专栏，为你提供了大数据与微服务架构的相关文章，致力于帮助开发者快速成长与发展。

大数据与微服务架构

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐