腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
人邮电数据采集与预处理
课后任务实例
专栏成员
举报
9
文章
949
阅读量
5
订阅数
订阅专栏
申请加入专栏
全部文章（9）
flume（3）
爬虫（1）
数据处理（1）
apache-pig（1）
bigdata（1）
kettle（1）
pandas（1）
搜索文章
搜索
搜索
关闭
项目四 Flume interceptor对日志信息预处理
flume
该Flume配置文件定义了一个数据收集流程，旨在从Syslog源接收日志信息。配置中的a1.sources.r1定义了一个TCP端口（50000），使得Flume能够接收来自主机“master”的Syslog数据。为了处理时间信息，配置中添加了timestamp拦截器，通过preserveExisting设置为false，确保每条日志都赋予新的时间戳。接收到的数据通过配置的通道（c1）进行传输，然后被发送至HDFS存储。a1.sinks.k1部分将数据存储在指定路径下，采用按日期和分钟进行自动分目录命名的方式，确保日志文件的组织与管理更为高效。整个流程目的在于实现高效的日志数据采集和便于后续分析。
弟大翻着洗
2024-10-01
83
0
项目四 pandas预处理北京公交线路
pandas
到这里了，我非常想吐槽这本书一下，这本书在环境部署部分显得极其简陋，存在许多不足之处。内容远古，爬虫相关的相关示例基本失效，模块拆分得也不够合理，导致初学者在学习时难以理解上下文的联系。另外，对于处理爬虫获取的离线数据，竟然引入了 Apache Flume，这与处理爬取下来数据并无太大关系。书中介绍了一堆组件，但大多数操作都非常基础，流程设计也显得十分简陋，实在令人失望。
弟大翻着洗
2024-09-28
94
0
项目三 flume 采集数据至hbase
flume
flume采集数据至hbase有四个实例，本文章一一列举，各实例流程均差不多，区别基本上就是配置文件的编写。其中实例一流程较为详细，后面几个实例参考实例一流程
弟大翻着洗
2024-09-28
87
0
项目三 Flume 采集日志数据至 hdfs
flume
弟大翻着洗
2024-09-27
90
0
项目四 kettle预处理北京公交线路
kettle
弟大翻着洗
2024-09-25
114
0
项目四 pig预处理北京公交线路
apache-pig
弟大翻着洗
2024-09-23
90
0
项目四 OpenRefine 处理北京公交线路数据
数据处理
弟大翻着洗
2024-09-23
111
0
项目二 爬取数据
爬虫
注意事项：网络爬虫需要确保网络稳定，不建议使用校园网，且本文爬取速度较慢，请耐心等待，若追求速度可使用多线程爬取
弟大翻着洗
2024-09-20
147
2
项目一 环境准备
bigdata
window上先装好python环境（anacanda）和集成开发环境（pycharm）以及虚拟机（VMware）和centos7系统和远程连接工具（xshell）
弟大翻着洗
2024-09-20
133
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪，探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档
