假如该数据是是个整数 long 类型 在64位 sizeof(long)=8 字节， 一亿个记录占用内存=762M （一亿一个记录占用内存762M） 一个普通云主机2G内存（足够） 计算过程： 这需要统计每个单词出现次数，并且按照次数，数值排序
100G大小的ip文件，每行都是一条IP访问记录。计算器中重复最多的IP，即访问最多的100个IP。
当数据库运行长时间之后，日志文件就会一直变大，这时就需要定时清理！如果不清理，当日志大小达到 4G 左右的时候，可能会导致数据库宕机，无法使用！
给定 a、b 两个文件，各存放 50 亿个 URL，每个 URL 各占 64B，内存限制是 4G。请找出 a、b 两个文件共同的 URL。
今天，文章的内容是《Virtual box 安装 deepin 20 beta版 操作系统》。相信Deepin会是Windows的一个很好的开源替代。
日常工作中需要对日志文件进行分析，当日志文件过大时，Linux中使用vim、cat、vim、grep、awk等这些工具对大文件日志进行分析将会成为梦魇，具体表现在：
find 命令用来在指定目录下查找文件，在参数之前的任何字符串都会当作是目录名。使用 find 命令时，如何不设置任何参数，则 find 命令将在当前目录下查找子目录与文件，并且将查找到的子目录和文件全部显示出来。
来源 | https://doocs.github.io/advanced-java/ 题目描述 给定 a、b 两个文件，各存放 50 亿个 URL，每个 URL 各占 64B，内存限制是 4G。请找出 a、b 两个文件共同的 URL。 解答思路 每个 URL 占 64B，那么 50 亿个 URL占用的空间大小约为 320GB。 5, 000, 000, 000 * 64B ≈ 5GB * 64 = 320GB 由于内存大小只有 4G，因此，我们不可能一次性把所有 URL 加载到内存中处理。对于这种类型的题
字典是可变类型，这里l.append(a)相当于执行了浅拷贝,每改变一次a中num的值,所有a的值都将改变
由于各种不同的问题，我们经常会遇到需要将一个大文件分割存储的问题。比如github里单个文件大小一般不能超过100M、比如FAT32文件系统里单个文件大小不能超过4G，比如我们想把某一个数据文件分割存储和查看，比如对日志文件进行分割保存等等。
下载安装包 [root@localhost src]# wget https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.23-linux-glibc2.12-x86_64.tar.gz [root@localhost src]# tar xf mysql-5.7.23-linux-glibc2.12-x86_64.tar.gz -C /usr/local/ [root@localhost src]# cd /usr/local/ [root@loca
Linux Swap 分区大小跟你服务器本身的物理内存大小有关，内存越大，设置的 Swap 分区也应该越大，两者的关系如下。
1、 docker pull mysql:5.7 mkdir -p /mysql/data mkdir -p /mysql/conf mkdir -p /mysql/log chmod 777 -R /mysql/log chmod 777 -R /mysql/data
在使用容量有限的介质传输大文件时（比如U盘、光盘容量小于文件大小），这时候就需要把大文件切割后，再多次传递，最后再合并成原始文件 文件切割 ➜ split -b 4G CentOS-7-aarch64-Everything-2009.iso 生成的文件是xaa和xab 文件合并 ➜ cat xaa xab > CentOS-7-merge.iso ➜ shasum CentOS-7-aarch64-Everything-2009.iso CentOS-7-merge.iso fb2d5f8b47d985
背景是这样的：他用 cp 拷贝了一个 100 G的文件，竟然一秒不到就拷贝完成了！
cp 引发的思考 今天同事用 cp 命令，把他给惊到了！ 背景是这样的：他用 cp 拷贝了一个 100 G 的文件，竟然一秒不到就拷贝完成了！ 用 ls 看一把文件，显示文件确实是 100 G。 sh-4.4# ls -lh -rw-r--r-- 1 root root 100G Mar 6 12:22 test.txt 但是 copy 起来为什么会这么快呢？ sh-4.4# time cp ./test.txt ./test.txt.cp real 0m0.107s user 0m0
来自：奇伢云存储 cp 引发的思考 今天同事用cp 命令，把他给惊到了！ 背景是这样的：他用cp拷贝了一个 100 G 的文件，竟然一秒不到就拷贝完成了！ 用ls看一把文件，显示文件确实是 100 G。 sh-4.4# ls -lh -rw-r--r-- 1 root root 100G Mar 6 12:22 test.txt 但是 copy 起来为什么会这么快呢？ sh-4.4# time cp ./test.txt ./test.txt.cp real 0m0.107s user 0m0.008
port = 3306 # 端口号 socket = /var/lib/mysql/mysql.sock # 套接字文件(localhost登陆会自动生成)
iozone是一个文件系统的benchmark工具，可以测试不同的操作系统中文件系统的读写性能。 可以测试 Read, write, re-read,re-write, read backwards, read strided, fread, fwrite, random read, pread, mmap, aio_read, aio_write 等等不同的模式下的硬盘的性能。 测试的时候请注意，设置的测试文件的大小一定要大过你的内存(最佳为内存的两倍大小)，不然linux会给你的读写的内容进行缓存。会使数值非常不真实。
4、列出目录下所有节点，一个文件或一个目录算一个节点（例如一个文件夹下有两个文件，就是三个节点）
du（是 disk usage 的简称）用来显示目录或文件的大小，查找文件和目录的磁盘使用情况的命令。du 命令在与各种选项一起使用时能以多种格式提供结果。
维持了 20 天的复赛终于告一段落了，国际惯例先说结果，复赛结果不太理想，一度从第 10 名掉到了最后的第 36 名，主要是写入的优化卡了 5 天，一直没有进展，最终排名也是定格在了排行榜的第二页。痛定思痛，这篇文章将自己复赛中学习的知识，成功的优化，未成功的优化都罗列一下。
ESXI大家都会安装，基本上就是下一步下一步然后配置IP就能管理创建虚拟机了，非常简单；但其实中间也会遇见小问题的，比如服务器多网卡时配置IP无法生效，往数据存储上传系统ISO镜像时超过4G会卡住，将虚拟机导出为OVF模版报错等情况，本篇文章目的就是和大家探讨一下如上问题解决方法，给大家节约时间，直接跳过这些问题，将更多的时间用着其它技术方面。
参加Unix/Linux相关高级研发职位时，是否经常会被文档，单机允许最大进程数、线程数和Socket连接数，而你却感到束手无措呢？本文给你一个最为详细的答案。
磁盘设备之上是文件系统，测试磁盘的工具往往就是调用块设备驱动的接口进行读写测试。而文件系统的测试软件就是针对文件系统层提供的功能进行测试，包括文件的打开关闭速度以及顺序读写随机位置读写的速度。以及进程并发数目等各个方面进行详细的测试。
RAM<=4G,swap=2G;RAM>4G,<16G,swap=4G;RAM>16G,<64G,swap=8G;RAM>64G,<256G,swap=16G
MySQL8.0推出一个号称可以自适应服务器的参数，保证在各种不同的服务器、虚拟机、容器下自动适配服务器资源，让我们一起来看看到底它能自适应到什么地步。
大纲 cp 引发的思考 分析文件 文件系统 现实的存取场景 文件系统 文件的稀疏语义 什么是稀疏文件 为什么要支持稀疏语义？ 怎么创建一个稀疏文件？ 稀疏语义接口 稀疏文件的应用 Go 语言实现 `
Oracle (Enterprise) Linux 是一个基于 Red Hat Enterprise Linux 源码构建的 Linux 发行版，由 Oracle 公司打包并免费分发。相较于后者，Oracle 对内核等组件进行了修改，并包含了一些新的特性。下载地址：V860937-01.iso
du [-abcDhHklmsSx] [-L <符号连接>][-X <文件>][--block-size][--exclude=<目录或文件>] [--max-depth=<目录层数>][--help][--version][目录或文件]
du [-abcDhHklmsSx] [-L <符号连接>][-X <文件>][--block-size][--exclude=<目录或文件>] [--max-depth=目录层数>][--help][--version][目录或文件]
Linux 命令大全 引用于 https://www.runoob.com/linux/linux-comm-du.html 菜鸟教程
PostgreSQL 是一个很有意思的数据库，在使用中有一些习惯可以在同等的硬件下，更加有效的使用硬件提供的资源，让管理和使用POSTGRESQL 获得更多的性能。下面就说说一些使用POSTGRESQL 的习惯。
du [-abcDhHklmsSx] [-L <符号连接>][-X <文件>][–block-size][–exclude=<目录或文件>] [–max-depth=<目录层数>][–help][–version][目录或文件]
其中“/yourpath/crontab_mysql.sql”为需要执行的sql语句。
Linux 查找命令find是Linux系统中最重要和最常用的命令之一，用于查找与指定参数条件匹配的文件及目录列表。find查找命令可以在各种条件下使用，我们可以通过权限，用户，组，文件类型，修改日期，大小等多种条件来查找文件。 这里我会以实例的形式向大家说明find命令的具体用法。 find命令的格式很简单，一般分成三个部分：1）find命令；2）搜索路径（目录可以写多个）；3）表达式。对于find命令，最需要学习的是表达式这一段。表达式决定了我们要找的文件是什么属性的文件，还可以指定一些“动作”，比如将匹配某种条件的文件删除。所以，find命令的核心就是表达式的指定方法。在这里，我们首先用下表说明find命令各参数的含义：
文件有很多，但是被打开的文件很少，这些没有被打开的文件在磁盘中，这就叫做磁盘文件。每次先打开一个文件，需要先找到这个文件，需要通过文件路劲及文件名先在磁盘中找到这个文件。本篇文章要研究的是磁盘文件，核心问题是如何存取问题。在研究这些问题之前，需要先认识一下硬件–磁盘
一个朋友接到一个需求，从大数据平台收到一个数据写入在20亿+，需要快速地加载到MySQL中，供第二天业务展示使用。
随着时间的推移，您的磁盘驱动器可能会被大文件占用大量磁盘空间，不必要文件弄得乱七八糟。通常是因为大型日志文件或备份文件，导致Linux系统的磁盘空间不足。 本教程介绍如何使用find和du命令在Linux系统中查找最大的文件和目录。 使用find命令查找大文件 find命令是Linux系统管理员工具库中最强大的工具之一。它允许您根据不同的标准（包括文件大小）搜索文件和目录。 例如，如果在当前工作目录中要搜索大小超过100MB的文件，请使用以下命令： sudo find . -xdev -type f -si
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
