项目背景

项目背景

​ 现在是互联网的时代, 每个人的生活中都会使用到互联网的各种应用, 我们会进行网络购物, 会进行新闻浏览, 视频浏览, 微信聊天等等, 当我们在使用互联网的时候, 我们的所有的数据都需要通过运行商(电信, 移动,联通)进行数据的发送和接收, 对于每一个访问, 运营商都可以获取到对应的请求信息, 我们可以通过对网络请求的信息分析, 及时掌握互联网的动态和行业前沿, 并且根据用户的请求访问数据, 我们可以分析互联网行业的发展现状和每个城市的互联网的发展程度等等. 通过对于互联网的发展的相关指标分析, 可以为政府部门, 商业公司提供一些决策分析的数据

1. 互联网数字经济时代, 大数据已经成为生产要素之一
2. 通过分析脱敏后的用户行为数据, 让数据产生价值, 让数据为企业发展, 为行业建设提供一些决策的建设性的依据和支撑
3. 通过用户行为的分析, 增强网络安全和信息数据安全的建设

项目的价值

企业价值

1. 为相关统计部门提供数据支持, 比如上网的用户时长, 上网的用户人数, 上网模式的占比等等
2. 为行业发展的预测提供数据支撑
3. 为企业发展提供数据支撑, 分析每个网站的访问情况

学习价值

1. 完整的大数据项目实战流程
2. 最新的大数据生态技术 Hadoop3.1.3, Spark3, Hive3.1.2
3. 数据仓库的设计和建设

项目的最终效果

image-20220825152255691.png

学习收获

• Hadoop基本环境搭建 大数据环境的统一配置, HDFS分布式存储环境搭建, Yarn分布式任务调度
• MySQL数据库的安装和应用
• SpringBoot项目的日志生成生成程序的流程分析
• Flume日志采集到HDFS,并且完成shell脚本的编写
• Hive-on-Spark环境的搭建
• Hive的基本操作, 外部表,分区表的创建,表数据的导入
• 数据仓库的分层架构ODS-->DWD-->DWS-->ADS数仓结构设计
• DataX技术从ADS同步数据到MySQL数据库
• QuickBI完成数据可视化处理

学习要求

• 使用过Linux操作系统, 会熟练的使用常见的Linux操作系统命令
• 具有大数据的基本知识, 对于Hadoop, Hive有基本的了解
• 比较熟悉SQL语句, 特别是查询的SQL语句的基本语法
• 项目是完全从0开始, 不用担心学不会

项目的系统流程分析

image-20220902104836670.png

电信用户行为分析_20220902_0946.png

数据格式说明

完整一条日志记录格式

{
	"client_ip": "139.212.175.95",
	"device_type": "mobile",  pc
	"time": 1659959785000,  时间戳-- yyyy mm dd
	"type": "5G",
	"device": "cf287649b5b1443c903b7405fa08cb07", macid
	"url":  "https://www.yy.com/travel"
}