一、概述
StarRocks是一个开源的分布式OLAP(在线分析处理)数据库,旨在提供高性能、低延迟的数据分析和查询能力。它最初由中国的猎豹移动公司(Cheetah Mobile)开发,并于2016年开源。
StarRocks主要特点和功能包括:
列式存储:StarRocks使用列式存储,将数据按列存储在磁盘上,以提高数据的压缩率和查询性能。列式存储有助于减少I/O开销和提高数据扫描效率。
分布式架构:StarRocks基于分布式架构设计,可以水平扩展以处理大规模数据集。它支持数据分片和分布式计算,可以将数据和计算任务分布在多个节点上并行处理。
多维数据模型:StarRocks支持多维数据模型,适用于OLAP分析和查询。它提供了维度模型、星型模型和雪花模型等,支持多维查询、聚合和切片切块操作。
实时数据同步:StarRocks支持实时数据同步,可以通过接口、Kafka等方式实时加载数据,并保持数据的一致性和准确性。
高性能查询引擎:StarRocks内置了一个高性能的查询引擎,支持复杂的SQL查询操作。它具有快速的查询速度和低延迟,并提供了聚合、排序、分组和连接等常见的查询操作。
高可用性和容错性:StarRocks具有高可用性和容错性,支持数据的备份和故障恢复。它可以自动处理节点故障和数据冗余,保证数据的可靠性和可用性。
总的来说,StarRocks是一个面向OLAP场景的高性能分布式数据库,通过列式存储、多维数据模型和高性能查询引擎等特性,提供快速、可扩展的数据分析和查询能力。它广泛应用于大数据分析、实时报表、数据仪表盘等场景。
从 3.0 版本开始,StarRocks 支持新的共享数据架构,可以提供更好的可扩展性和更低的成本。
二、前期准备
1)部署 docker
2)部署 docker-compose
三、创建网络
四、StarRocks 编排部署
1)下载 StarRocks 部署包
2)配置
通过 Broker,StarRocks 可读取对应数据源(如HDFS、S3)上的数据,利用自身的计算资源对数据进行预处理和导入。除此之外,Broker 也被应用于数据导出,备份恢复等功能。
3)启动脚本 bootstrap.sh
4)构建镜像 Dockerfile
开始构建镜像
5)编排 docker-compose.yaml
文件内容:
6)开始部署
五、简单测试验证
web:
六、常用的 StarRocks 客户端命令
1)服务启停
2、查看节点状态
领取专属 10元无门槛券
私享最新 技术干货