张浩的专栏-腾讯云开发者社区

开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

张浩的专栏

大家好，这里是张浩的专栏。感兴趣的小伙伴可以关注我和订阅我的专栏哦。

专栏成员

27

文章

60065

阅读量

24

订阅数

JFrog Artifactory

Artifactory 是一个存放制品（Artifacts）的工具。当前，Artifactory 是一个非常有影响力，功能非常强大的工具。

2022-06-19

2.2K0

数据库迁移工具 Flyway 使用

spring boot 数据库

它仅基于 7 个基本命令： Migrate、 Clean、 Info、 Validate、 Undo、 Baseline和 Repair。

2022-05-14

3.7K0

Spark 中 Kafka Offset 管理

api spark kafka

Spark在spark-streaming-kafka-0-10的API中实现了对Kafka Offset提交的API，在Spark消费过消息之后，提交消费过消息的Offset到Kafka里面，在Spark重启后，可以继续消费没有消费的消息，实现Exactly once的语义。

2019-03-19

1.9K0

实时MySQL数据源同步中间件-Maxwell

云数据库 SQL Server 数据库 sql kafka

Maxwell是一个读取MySQL binlog并将行更新作为JSON写入Kafka，Kinesis或其他流平台的应用程序。

2019-03-06

3.4K0

基于Avro文件和Avro Schema构建Avro Hive表

hive avro hdfs schema tools

使用avro-tools获取Avro文件的Schema avro-tools getschema hdfs://localhost:9000//user/hive/warehouse/retail_stage.db/orders/part-m-00000.avro >~/orders.avsc 将Avro文件的Schema文件上传到HDFS hdfs dfs -put orders.avsc /user/hive/warehouse/avro/schema/orders/ 创建Hive表 create ex

2019-02-22

2.6K0

CCA175 考试总结

今天(2019.01.29)考了CCA175考试，针对考试中一些考点和技巧做出总结

2019-01-29

2.2K25

Spark 设置 Hadoop 的配置文件

hadoop spark xml 大数据

当我们在开发Spark应用程序的时候，没有设置Hadoop的配置文件的情况下来读取或者写入HDFS文件，每次都要写上hdfs://host:port/path如下图所示。

2019-01-25

4.9K0

Sqoop 作业的输出可以直接压缩。Sqoop 作业是一个MapReduce作业, 因此通过设置MapReduce压缩编解码器, 可以得到 Sqoop 的输出压缩。

2019-01-23

1.1K0

Scala 操作 HBase2.0 数据库

hbase scala TDSQL MySQL 版

环境配置 Maven添加hbase-client的依赖  <dependencies> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>2.1.2</version> </dependency> </dep

2019-01-20

3.2K1

Apache Phoenix 的安装与使用

hbase api TDSQL MySQL 版 bash 指令 java

Apache Phoenix 是 HBase 的开源 SQL 皮肤，可以使用标准的JDBC 的APIs去代替常规的HBase 客户端的APIs去创建表，插入数据和查询HBase数据。

2019-01-15

1.9K0

Spark Streaming中使用HikariCP数据库连接池与MySQL交互

云数据库 SQL Server maven gradle 数据库 sql

在使用Spark Streaming的应用程序时，我们可能需要将计算结果保存到MySQL中，为了高效的与MySQL进行交互，这里我们使用HikariCP这个高效的数据库连接池。

2018-12-24

4.9K1

Spark Streaming基于网络的词频统计

运行一个Netcat服务器 $ nc -lk 9999 编写Spark Streaming 应用程序 package spark.streaming import org.apache.spark.SparkConf import org.apache.spark.streaming.{Seconds, StreamingContext} object NetworkWordCount { def main(args: Array[String]) { if (args.length < 2

2018-12-20

6310

Hive 创建自定义函数（UDF）

当Hive中的内置函数不满足我们需求的时候，我们可以自定义我们自己的Hive函数，来满足我们的需求。

2018-12-19

3.4K0

用Kafka消费Flume传来的日志

1.创建Kafka Topic kafka-topics.sh --create --zookeeper localhost:2181 --partitions 1 --replication-factor 1 --topic weblogs 2.创建Flume Conf Source 使用Spooling Directory Source agent.sources=spooldir-source agent.sources.spooldir-source.type=spooldir agent

2018-12-19

8040

Hive的数据模型

hive 数据库 sql

在Hive中，表中的一个Partition对应表下的一个目录，所有的Partition的数据都存储在对应的目录中

2018-12-16

1.1K0

Hive复杂数据类型的使用

array CREATE TABLE student1( sid int, sname string, gradle array<float> ); {1,Tom,[80,90,75]} map CREATE TABLE student2( sid int, sname string, gradle map<string,float> ); {1,Tom,<'大学语文',85>} array map 联合使用 CREATE TABLE student3(

2018-12-16

1K0

Hive的数据类型

基本数据类型整数类型：tinyint/smallint/int/bigint 浮点数类型：float/double 布尔类型：boolean 字符串类型：string 复杂数据类型 Array：数组类型，由一系列相同类型的元素构成 Map：集合类型，包含key->value键值对，可以通过key来访问元素 Struct：结构类型，可以包含不同数据类型的元素。这些元素可以通过"点语法"的方式来得到所需的元素时间类型 Date：从Hive0.12.0开始支持 timestamp：从Hive0.8.0开始支持

2018-12-15

6980

Hive CLI常用命令

清屏 Ctrl+L 或者 !clear 查看数据仓库中的表 show tables; 查看数据仓库中内置的函数 show functions; 查看表结构 desc tablename 查看HDFS上的文件 dfs -ls 目录执行Linux的命令 !命令执行HQL语句 SELECT * FROM tablename 执行SQL的脚本 source sql文件 Hive 静默模式 hive -S Hive 直接执行SQL hive -e <quoted-query-string> Hive 执行文件中

2018-12-15

1.6K0

Kafka基本操作

创建topic kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic mytopic 查看topic kafka-topics.sh --list --zookeeper localhost:2181 查看topic详情 kafka-topics.sh --describe --zookeeper localhost:2181 producer生产消息 kafka

2018-12-11

3950

HBase Shell常用命令

创建表 create 't1', 'f1', 'f2', 'f3' ---- 删除表 disable 't1' drop 't1' ---- 清空表 truncate 'tablename' ---- 更新和设置单元格的值 put 't1', 'r1', 'c1', 'value ---- 获取列的值 get 'r1', {COLUMN => ['c1', 'c2', 'c3']}

2018-12-11

7750

点击加载更多

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态