腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
onephone
专栏成员
举报
5
文章
11284
阅读量
8
订阅数
订阅专栏
申请加入专栏
全部文章(5)
spark(2)
大数据(2)
云服务器(1)
认证考试(1)
腾讯云学堂(1)
NLP 服务(1)
bash(1)
scala(1)
linux(1)
容器服务(1)
命令行工具(1)
域名注册(1)
大数据处理套件 TBDS(1)
人工智能(1)
shell(1)
hadoop(1)
数据分析(1)
数据处理(1)
网站建设(1)
腾讯云认证(1)
云上实践(1)
搜索文章
搜索
搜索
关闭
【数据处理】sed原理及使用举例(快速理解核心)
数据处理
linux
命令行工具
shell
bash
在做数据开发中,经常需要通过shell脚本/命令来针对文本进行预处理,sed是一个很强大的流式处理命令,笔者几乎每天都会用到,在这统一梳理总结了下! 其实 sed 很简单,比vim简单很多了! 1. 基础 核心概念 两个空间: 模式空间(pattern space); 交换空间(hold space 保持空间) 模式空间:容纳当前行的缓冲区,即通过模式匹配到的行被读入该空间中 保持空间:一个辅助缓冲区,可以和模式空间进行交互(通过h,H,g,G),但命令不能直接作用于该空间,在进行数据处理时作为“暂存区域”
onephone
2022-03-30
3K
5
【大数据】回顾踩过的 Scala & Spark学习资料
大数据
scala
大数据处理套件 TBDS
spark
笔者从18年开始做大数据开发,最近有朋友找我推荐一些spark相关的学习资料,于是就再次梳理了下,自己踩过的,比较好的相关资料...... 1. scala学习 相比于其他语言,个scala的学习曲线确实比较陡,如果有函数式编程或JAVA基础的话,则相对会好一些 官网:https://www.scala-lang.org/ 1.1 runoob.com 上的scala tutorial ⭐️⭐️⭐️ 最简易和快速的入门教程,有基础的话,两个小时即可 教程的侧重点是“手册”,故Scala的一些特性和原理没有涵
onephone
2022-03-29
1.1K
0
腾讯云-人工智能-从业资格认证-学习笔记
腾讯云学堂
腾讯云认证
人工智能
认证考试
NLP 服务
发展 知识点 腾讯AI 人脸技术 车辆技术 图像识别技术 文字识别技术 腾讯TI平台 发展趋势 人才岗位 发展 1950年,他那篇著名论文《计算机器与智能》的正式发表,里面有史以来 第一次触及到了“人工智能”,提出了 “图灵测试”,这当中涉及了自动解释,和 自然语言的生成,作为判断智能的条件。 1956年美国达特茅斯会议:“人工智能”概念诞生 人工智能(Artificial Intelligence,AI)是研究、开发用于模拟、延伸和扩展人的智能 的理论、方法、技术及应用系统的一门新技术科学。 人工智能的
onephone
2022-03-01
2.5K
0
【玩转腾讯云】网站-全套服务-从0到1
云服务器
容器服务
域名注册
网站建设
云上实践
TOC 1. 这样开始的... 1.1. 背景 朋友"搞事情",自己有偿帮忙搭了一套线上服务,包括官网、小程序后台、文档集站点、个人博客站点等 初期,流量小,节约资金,一切从简,后期,流量大了,再考虑扩容或迁移服务(目前完全能hold住) 基于一台腾讯云服务器搭建了全套服务,站点均在同一个二级域名下 1.2. 依赖的服务 1.2.1 腾讯云服务 使用到的腾讯云服务 CVM云服务器 COS对象存储 网站备案 域名管理, SSL证书 腾讯软件源: mirrors.tencent.com 微信小程序 1.2.2
onephone
2020-05-04
1.8K
0
【大数据】Spark优化经验&案例--数据倾斜
大数据
spark
hadoop
数据分析
TOC 0. 十秒看完 1.业务处理中存在复杂的多表关联和计算逻辑(原始数据达百亿数量级) 2.优化后,spark计算性能提升了约12倍(6h-->30min) 3.最终,业务的性能瓶颈存在于ES写入(计算结果,ES索引document数约为21亿 pri.store.size约 300gb) [优化完整过程] 1. 背景 业务数据不断增大, Spark运行时间越来越长, 从最初的半小时到6个多小时 某日Spark程序运行6.5个小时后, 报“Too large frame...”的异常 org.apach
onephone
2020-04-27
2.9K
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档