我们在服务器运行一些服务经常会产生很多临时文件， 而有些临时文件不定期处理很容易就打满了整个磁盘； 所以有必要去定期清理，基于这个需求我们就可以搞一个脚本结合crontab或者服务调度这些来使用；
昨天处理了一个业务同学的数据需求，简单来说就是对一张大表做一下数据清理，数据量在8千万左右，需要保留近一个月的数据，大概是400万左右。
把所有的考研单词存储到数据库中，每天定时在两个时间点，上午7:30、下午6:30，将属于当天的单词发送到指定的邮箱中。一个月一遍。一年12遍，我想再笨的人也会背下来的。
上篇文章聊到了对账系统业务逻辑以及千万数据集对账系统存在的难点，这篇文章就来聊下千万级数据集下对账系统实现方案。
最近多次看到用SQL查询连续打卡信息问题，自己也实践一波。抛开问题本身，也是对MySQL窗口函数和自定义变量用法的一种练习。
第一章 [数据结构与算法] 邂逅数组与队列 第二章 [数据结构与算法] 邂逅链表 第三章 [数据结构与算法] 邂逅栈 第四章 [数据结构与算法] 排序算法 第五章 [数据结构与算法] 排序算法之冒泡排序与快速排序(快排) 第六章 [数据结构与算法] 排序算法之选择排序和堆排序 第七章 [数据结构与算法] 排序算法之直接插入排序与希尔排序 第八章 [数据结构与算法] 排序算法之归并排序与基数排序 第九章 [数据结构与算法] 查找算法 第十章 [数据结构与算法] 树结构之二叉树 第十一章 [数据结构与算法] 树结构之二叉排序树、平衡二叉树、多路查找树 第十二章 [数据结构与算法]赫夫曼树与赫夫曼编码 第十三章 [数据结构与算法] 图结构 第十四章 [数据结构与算法] 盘点工作中常用的算法 第十五章 [数据结构与算法] 输入当前是一周的第几天, 返回今天直到三天后分别都是星期几
最近炒股是买什么就跌，一直是亏损哎，哭，作为学过python的人来讲怎么能容忍，之前也炒过股票觉得用阳包阴这样的k线来选出来的股票还不错。于是说做就做，我可以用python来写一个选股的程序。
mysql> select date_sub(curdate(),interval 1 day); +------------------------------------+ | date_sub(curdate(),interval 1 day) | +------------------------------------+ | 2016-04-01 | +------------------------------------+ 如果统计前几天就将括号中的1改成相应的天数即可。如果要算月或年，直接将day改为month或year即可。
有一张用户签到表，表中记录了每个用户每天签到的情况。该表包括了三列日期、用户id、用户当日是否签。
假设一周中的7天分别用0-6表示周日、周一、周二、周三、周四、周五、周六。 给定一个当前值n，n的范围属于[0,6]，表示当天是周几。 给定一个目标值k，k的范围属于[0,6]，表示要到达周几，如果当前天超过了k，则k应是下一周的周几。 设计一个函数dayInterval，计算从当天到下一个目标天，之间间隔了多少天。
今天给大家分享一篇关于对账系统设计的文章，出自在支付行业摸爬滚打好几年的小黑哥之手。
发电设备中常常会放置传感器（DCS）来采集数据以监控设备运转的状况，某集团设计的电力监控统计系统，需要实时采集传感器的数据后保存，然后提供按时段的实时查询统计功能。
传送带上的包裹必须在 D 天内从一个港口运送到另一个港口。传送带上的第i个包裹的重量为 weights[i]。每一天，都会按给出重量的顺序往传送带上装载包裹。装载的重量不会超过船的最大运载重量。返回能在 D 天内将传送带上的所有包裹送达的船的最低运载能力。
一位B站粉丝，问我后端Java和前端Vue，如何实现一个简单的签到功能，在吃了顿大餐后，顺便也把主要过程分享一下。
前言： 接了一个小需求，获取用电统计的数据，要求获取最近月，周，天统计数据，MySQL 本来就包含处理这种需求的函数，这里记录下。 查询当天数据 SELECT * FROM 表名 WHERE TO_DAYS( 表中时间字段 ) = TO_DAYS(NOW()); 查询本周数据 SELECT * FROM 表名 WHERE YEARWEEK(DATE_FORMAT( 表中时间字段，'%Y-%m-%d')) = YEARWEEK(NOW()); 查询当月数据 SELECT * FROM 表名 WHERE Y
尊重劳动成果，请访问CSDN著者原文链接 http://blog.csdn.net/zixiao217/article/details/51908506
4. 一张采用Innodb的User表，其中id为主键，name为普通索引，试从索引的数据结构角度分析，以下两条语句（均返回一条记录）在检索过程中有哪些区别
递归 递归的本质就是使用函数自身来解决问题的思路。 递归的定义（摘）： 程序调用自身的编程技巧称为递归（ recursion）。递归做为一种算法在程序设计语言中广泛应用。 一个过程或函数在其定义或说明中有直接或间接调用自身的一种方法，它通常把一个大型复杂的问题层层转化为一个与原问题相似的规模较小的问题来求解，递归策略只需少量的程序就可描述出解题过程所需要的多次重复计算，大大地减少了程序的代码量。递归的能力在于用有限的语句来定义对象的无限集合。一般来说，递归需要有边界条件、递归前进段和递归返回段。当边界条件不
具体来讲，第一篇文章一场pandas与SQL的巅峰大战涉及到数据查看，去重计数，条件选择，合并连接，分组排序等操作。
签到功能相信大家都很熟悉了，功能就是用户每天可以签到一次，连续签到固定天数可以获得奖励。这里我把功能简单化：
我把每天的持股状态分为四种,那么每天的收益情况就分为四种,这里就用二维dp数组来保存了 dp[i][j],i为天数,j为每天的状态 dp[i][j]各状态存最大收益
目标：通过日交易数据，从多只蓝筹股中选出连续上涨5天的股票。 思路：导入数据；过滤出上个月的数据；按照股票代码分组；将数据按日期排序；计算出每天比上一天的收盘价的增长额；计算出连续正增长的天数
作为一个技术男，一开始总想着怎么去爬数据。然而一旦发现有免费的数据接口时，瞬间感觉爬来的不香了。。。
以下内容基本来自《算法笔记》，作者为胡凡，建议直接买书看，我这里只是摘抄部分当笔记，不完整的。
昨天是刷题的第 25 天，基本保持了每天一两道，同步分享了其中前 35 题的记录。通过二十多天的摸索，慢慢熟悉 LeetCode 平台，为了提高刷题学习效率，我决定要改变刷题方式：由之前的按顺序做题改为通过标签分类的专项刷题。
Sparksql在处理一些具体的业务场景的时候，可以通过算子操作，或者RDD之间的转换来完成负责业务的数据处理，在日常做需求的时候，整理出来一下几个经典的业务场景的解决方案，供大家参考。
实现：用set key value ex time nx指令实现，这个指令以及其参数是原子性的操作。释放锁用del key，释放之前先比较一下value是否与当前的value一样，原因见后面。key为锁名。value为随机数并用一个变量记录这个随机数。ex是个set指令的参数，代表time秒后该key自动删除。nx是set指令的参数，代表没有该key时才设置它的值。
复杂问题需要很多道工序，涉及到与多个人进行沟通，人的注意力没法持续关注，导致很容易忘掉很多重要步骤。像这种问题就要用到项目管理工具，在重要的节点上，来检查自己是否遗漏了重要的环节。
来源丨Python之王 Python爬取天气数据及可视化分析 说在前面 天气预报我们每天都会关注，我们可以根据未来的天气增减衣物、安排出行，每天的气温、风速风向、相对湿度、空气质量等成为关注的焦点。本次使用python中requests和BeautifulSoup库对中国天气网当天和未来14天的数据进行爬取，保存为csv文件，之后用matplotlib、numpy、pandas对数据进行可视化处理和分析，得到温湿度度变化曲线、空气质量图、风向雷达图等结果，为获得未来天气信息提供了有效方法。 1.数据获取
现有用户登录时间表，记录每个用户的id，姓名，邮箱地址和用户最后登录时间。表如下：
前一段时间，我们介绍了一个经典算法题目：寻找股票买入卖出的最佳时机。这个题目看似简单，却有着许多种变化。
我们在输入基本开始日期和基本完成日期时需要关注 调度 下面的“类型”，其中有向前、向后、当天日期等：
Original Link 思想： 模拟。 根据题意，设置变量 cnt 和 day 分别代表当天能收到的金币数和收到 cnt 金币的天数。 循环枚举第 i 天，每次循环： 若当天 cnt == day 说明金币需要增加 cnt ++，且要重置 day = 0。 总共收到的金币 sum += cnt； 收到 cnt 的天数 day ++。 最后 sum 即为答案。 代码： #include <bits/stdc++.h> using namespace std; typedef long long LL;
了解如何使用Excel日期值可以帮助我们在日常电子表格工作中节省大量时间，本文就来介绍如何使用它们的技巧。
获取当前时间，可以使用函数：DateTime.LocalNow()或DateTime.FixedLocalNow()
Microsoft SQL Server 用两个 4 字节的整数内部存储 datetime 数据类型的值。第一个 4 字节存储 base date (即 1900 年 1 月 1 日)之前或之后的天数。基础日期是系统参考日期。不允许早于 1753 年 1 月 1 日的 datetime 值。第一个4 字节:1900 年1 月1 日当日为0 ；之前的日期是负数；之后日期是正数。另外一个 4 字节存储以午夜后3 1/3 毫秒数所代表的每天的时间。
目前用户常用的两款大数据架构包括EMR（数据建模和建仓场景，支持hive、spark、presto等引擎）和DLC（数据湖分析场景，引擎支持spark、presto引擎），其中EMR场景存储为HDFS（支持本地盘和对象存储cos），数据格式支持Iceberg、orc、parquet、text等，均支持内外表；DLC场景存储为cos，内表数据格式为Iceberg，外表数据格式为orc和text。下文通过离线和实时两种模式描述如何通过Inlong实现mysql数据的同步到HDFS和DLC，同时实现下游用户可读。
引导语 数据分析中，我们常常有下面几种分群方式 基础属性类：年龄、性别、城市、学历、用于首次来源 · 特点：基本是不变化的，虽然年龄、城市等也会发生变化，但本质上我们是将其作为一个用户固定属性进行分析 · 优势：用户属性稳定，分群永远不变化 · 劣势：是维度有限，很多分析维度很难找到固定属性 图：某业务用户数分年龄段曲线（来自腾讯灯塔截图） 动态属性类：当天启动方式、当日拉活渠道、新老用户、当日播放视频数、当日是否领取红包 · 特点：基本上是基于用户当天的一些行为或状态数据，例如启动方式，每天
数仓的基础是数据，没有数据，那么数仓就是一个空壳，数据的来源有很多，我们需要按照一个规则和流程来制定采集方案，还要根据数据的特性和用途选取合适的采集程序，数据的采集我们一般分为全量和增量，对于一些业务场景，也需要二者配合使用。
下面是某公司每天的营业额，表名为“日销”。“日期”这一列的数据类型是日期类型（date）。
需求分析说明书 1．引言 2 1.1目标 2 1.2项目背景 2 1.3参考资料 2 2．任务概述 2 2.1目标 2 2.2运行环境 2 2.3条件与限制 3 3．数据描述 3 3.1静态数据 3 3.2动态数据 3 3.3数据库介绍 3 4．功能需求 4 4.1 功能划分 4 4.2功能描述 4 4.3用例图 5 4.4用例描述 5 4.4.1 删除请假学生 5 4.4.1 增加请假学生 6 4.4.1 查找请假学生 6 4.4.1 修改请假学生 6 4.5领域模型 7 5．性能需求 7 5.1数据精确度 7 5.2时间特性 7 5.3适应性 7 6．运行需求 8 6.1用户界面 8 6.2硬件接口 8 6.3软件接口 8 6.4故障处理 8 7．其它需求 8
这道理放在编程上也一并受用。在编程方面有着天赋异禀的人毕竟是少数，我们大多数人想要从编程小白进阶到高手，需要经历的是日积月累的学习，那么如何学习呢？当然是每天都练习一道题目！！
为了提高自己的代码能力，小张制定了 LeetCode 刷题计划，他选中了 LeetCode 题库中的 n 道题，编号从 0 到 n-1，并计划在 m 天内按照题目编号顺序刷完所有的题目（注意，小张不能用多天完成同一题）。
前两天因为没注意的误操作, 直接把某个数据表清掉了, 心慌慌. 怪自己学艺不精, 当时整了一下午也没把数据找回来. 当晚回来闭关研究, 终于在凌晨1点多整出来了, 特此记录, 以备不时之需.
上文中增加了定时归档，现在一些大表磁盘空间一直不释放，导致数据库文件越来越大。现在介绍下数据导入导出方案。
/** * 根据开始日期 ，需要的工作日天数 ，计算工作截止日期，并返回截止日期 * @param startDate 开始日期 * @param workDay 工作日天数(周一到周五) * @return Date类型 * @createTime 2019-11-08 * @author XinQiangWang */ public static Date getWorkDay(Date startDate, int workDay) { Calendar c1 = Calend
/*问题描述 设有有2 n（n<=6）个球队进行单循环比赛，计划在2 n – 1天内完成， 每个队每天进行一场比赛。设计一个比赛的安排，使在2 n – 1天内每个队都与不同的对手比赛。 输入格式 输入文件matchplan.in共一行，输入n的数值。 输出格式 输出文件matchplan.out共（2 n – 1）行，第i行输出第i天的比赛安排。 格式为： A-B，C-D，……。其中i是天数，A，B分别为比赛双方的编号，每行共2 n-1个比赛场次。 样例输入 2 样例输出 <1>1-2,3-4 <2>1-3,2-4 <3>1-4,2-3 */
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
