《快学BigData》--Linux 常用命令

Linux 常用命令

awk / arch /

bc /

cp / clock -w / chmod / chkconfig / cal / cut /chmod / cat / crotable / clean /

date / diff / df / du -sh /

echo / exit /

find / free / fdisk -l /

gzip / Grep /

Help / histroy / head / hostname /

ifconfig / init

kill /

ls / less / locate /logout / lastlog / lscpu / ln / lscpu / lsblk / lspci

mv / mkdir / more / make && make install /

nl / netstat -ntlp /

Pwd / ping / ps /

Reboot / rm -rf / rpm /

scp / ssh-keygen / ssh-copy-id / setup / Shutdown / server /sh /sed / sync / su / sudo / sort /

tar / tail -f / top /tac / tree / tzselect /

useradd / users / useradd / userdel / ulimit / uname / unzip /

vi /

wget / who / which / wc /

yum /

Zip /

tail -f : 小f跟踪文件的唯一index的就算文件修改了名字后也是跟踪的原来的文件。

tail -F :按照文件的名字来跟踪。

具体的用法可以访问：http://man.linuxde.net/ 或者链接：http://pan.baidu.com/s/1slCn4O9 密码：rscu 如果无法下载请联系作者。

1-1）、查找最近一天新增的文件

[root@hadoop1 ~]# find / -ctime -1

-1 是前一天的，一次类推

1-2）、ls 使用

[root@hadoop1 local]# ls -l -R start_sh/

start_sh/:

total 32

-rw-r--r--. 1 root root 14 Dec 10 17:56 1.text

-rw-r--r--. 1 root root 16 Dec 10 17:58 2.text

1-3）、查看文件夹下的文件的总大小

[root@hadoop1 local]# du -h start_sh/

36K start_sh/

1-4）、查看文件夹下的每个问价的每个的大小

[root@hadoop1 local]# du -ah start_sh/

4.0Kstart_sh/zookeeper.sh

4.0Kstart_sh/2.text

4.0Kstart_sh/spark_start.sh

4.0Kstart_sh/hadoop.sh

4.0Kstart_sh/slave

4.0Kstart_sh/1.text

4.0Kstart_sh/kafka_start.sh

4.0Kstart_sh/redis.sh

36Kstart_sh/

[root@hadoop1 local]# du -ch kafka

68Kkafka/config

5.4Mkafka/logs

27Mkafka/libs

496Kkafka/site-docs

80Kkafka/bin/windows

3.2Mkafka/bin

36Mkafka

36Mtotal

1-5）、立刻关机

[root@hadoop1 /]# shutdown -h now

1-6）、十分钟之后关机

[root@hadoop1 /]# shutdown -h +10

1-7）、等于立马关机

[root@hadoop1 /]# halt

1-8）、重启命令

[root@hadoop1 /]# reboot

1-9）、Xshell清屏命令

[root@hadoop1 /]# clear

Ctrl + l 清屏快捷键

1-10）、Vi 常用命令

命令模式、插入模式、末行模式

A）、命令模式常用命令

向右移动 --> l

向左移动 --> h

向下移动 --> j

向上移动 --> k

删除光标所在位置的字符 --> x

删除光标所在的行 --> dd（敲 d 两次）

保存当前修改并退出 --> ZZ

撤销上一步操作 --> u

移动光标到行首 --> 0 （数字0）

移动光标到行末 --> $

移动光标到当前页最顶行 --> H

移动光标到当前页最底行 --> L

向前翻一页（Page Up） --> Ctrl + f

向后翻一页（Page Down） --> Ctrl + b

复制当前行的数据 --> yy

粘贴已经复制的数据 --> p

把当前行第一次出现的old字符串替换成new字符串 --> :s/old/new

把当前行出现的所有old字符串替换陈gnew字符串 --> :s/old/new/g

把文件中出现的所有old字符串替换陈gnew字符串 --> :%s/old/new/g

退出并保存 --> ZZ

B）、插入模式常用命令

在光标 左侧输入正文[常用] --> i

在光标 右侧输入正文[常用] --> a

在光标所在行的 下一行增添新行 --> o

在光标所在行的 上一行增添新行 --> O

在光标 所在行的开头输入正文 --> I

在光标 所在行的末尾输入正文 --> A

C）、末行模式

保存文件 [常用] --> w

将当前文件的内容保存到file文件 --> w file

保存文件并退出vi编辑器[常用] --> wq

读取file 文件的内容，插入当前光标所在行的后面 --> r file

退出vi编辑器（如果当前文件有改动，则无法退出） --> q

强制退出vi编辑器（不保存修改）[常用] --> q!

D）、移动光标的操作

光标到行首 --> Home

光标到行尾 --> End

向上翻页 --> Page Up

向下翻页 --> Page Down

删除光标位置的字符 --> Delect

向前移动一页 --> Ctrl+f

向后移动一页 --> Ctrl+b

光标向左移动一个字符 [常用] --> h

光标向下移动一个字符 [常用] --> j

光标向上移动一个字符 [常用] --> k

光标向右移动一个字符 [常用] --> l

把光标移到行尾 [常用] --> 0

把光标移到行首 [常用] --> $

把光标移到文件的末尾 [常用] --> G

把光标移到文件的开头 [常用] --> gg

把光标移到下一个单词的开头[常用]->w

把光标移到当前或下一个单词的字尾[常用]->e

快速删除全部内容 -> dG

1-11）、Sed命令的使用，s表示字符串，g表示每一行

[root@hadoop1 /]# cat 1.text

a

b

a

[root@hadoop1 /]# sed 's/b/xiaozhang/g' 1.text

a

xiaozhang

a

1-12）、Awk 处理文本

[root@hadoop1 /]# last -n 3| awk '{print$1}'

root

root

Reboot

Print可以选择第几列

[root@hadoop1 /]# cat /etc/passwd|awk -F ':' '{print$1}'

root

bin

daemon

adm

BEGIN 选择打印的头部信息，END 结束的时得打印

[root@hadoop1 /]# cat /etc/passwd |awk -F ':' 'BEGIN {print "name,shell"} {print

name,shell

root,/bin/bash

bin,/sbin/nologin

daemon,/sbin/nologin

1-13）、Shell 清除屏幕快捷键

Ctrl + l

1-14）、Netstart 命令过滤查找命令

[root@skycloud2 redis_cluster]# netstat -nltp|grep redis

1-15）、Crontab 的使用

格式基本格式 :

*****command

分　 时 　日 月　 周　 命令

例如：

30 21 * * * /usr/local/etc/rc.d/lighttpd restart

上面的例子表示每天的21:30重启apache。

45 4 1,10,22 * * /usr/local/etc/rc.d/lighttpd restart

上面的例子表示每月1、10、22日的4 : 45重启apache。

10 1 * * 6,0 /usr/local/etc/rc.d/lighttpd restart

上面的例子表示每周六、周日的1 : 10重启apache。

0,30 18-23 * * * /usr/local/etc/rc.d/lighttpd restart

上面的例子表示在每天18 : 00至23 : 00之间每隔30分钟重启apache。

0 23 * * 6 /usr/local/etc/rc.d/lighttpd restart

上面的例子表示每星期六的11 : 00 pm重启apache。

* */1 * * * /usr/local/etc/rc.d/lighttpd restart

每一小时重启apache

* 23-7/1 * * * /usr/local/etc/rc.d/lighttpd restart

晚上11点到早上7点之间，每隔一小时重启apache

0 11 4 * mon-wed /usr/local/etc/rc.d/lighttpd restart

每月的4号与每周一到周三的11点重启apache

0 4 1 jan * /usr/local/etc/rc.d/lighttpd restart

一月一号的4点重启apache

1-16）、软连接命令

实例：sudo ln -s 源文件 目标文件

删除：[root@hadoop1 software] rm -rf 源文件

1-17）、查看Linux 的版本

[root@hadoop1 ~]# cat /proc/version

Linux version 2.6.32-573.el6.x86_64 (mockbuild@c6b9.bsys.dev.centos.org) (gcc version 4.4.7 20120313 (Red Hat 4.4.7-16) (GCC) ) #1 SMP Thu Jul 23 15:44:03 UTC 2015

1-18）、查看CPU的信息

[root@hadoop1 ~]# cat /proc/cpuinfo

processor: 0

vendor_id: GenuineIntel

cpu family: 6

model: 58

model name: Intel(R) Core(TM) i3-3110M CPU @ 2.40GHz

stepping: 9

microcode: 18

cpu MHz: 2394.639

cache size: 3072 KB

physical id: 0

siblings: 1

core id: 0

cpu cores: 1

apicid: 0

initial apicid: 0

fpu: yes

fpu_exception: yes

cpuid level: 13

wp: yes

flags: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts mmx fxsr sse sse2 ss syscall nx rdtscp lm constant_tsc up arch_perfmon pebs bts xtopology tsc_reliable nonstop_tsc aperfmperf unfair_spinlock pni pclmulqdq ssse3 cx16 pcid sse4_1 sse4_2 x2apic popcnt tsc_deadline_timer xsave avx f16c hypervisor lahf_lm arat epb pln pts dts fsgsbase smep

bogomips: 4789.27

clflush size: 64

cache_alignment: 64

address sizes: 42 bits physical, 48 bits virtual

power management:

1-19）、查看本地的磁盘的情况

[root@hadoop1 ~]# fdisk -l

Disk /dev/sda: 21.5 GB, 21474836480 bytes

255 heads, 63 sectors/track, 2610 cylinders

Units = cylinders of 16065 * 512 = 8225280 bytes

Sector size (logical/physical): 512 bytes / 512 bytes

I/O size (minimum/optimal): 512 bytes / 512 bytes

Disk identifier: 0x0008bfe5

Device Boot Start End Blocks Id System

/dev/sda1 * 1 39 307200 83 Linux

Partition 1 does not end on cylinder boundary.

/dev/sda2 39 2350 18566144 83 Linux

/dev/sda3 2350 2611 2097152 82 Linux swap / Solaris

1-20）、查看文件夹下的每个文件的大小

[root@hadoop1 ~]# ll -h

total 64K

-rw-------. 1 root root 3.3K Mar 3 2017 anaconda-ks.cfg

-rw-r--r--. 1 root root 41K Mar 3 2017 install.log

-rw-r--r--. 1 root root 9.0K Mar 3 2017 install.log.syslog

1-21）、查找某个文件下的文件的大小

[root@hadoop1 ~]# find . -type f -size +800M | xargs ls -lh

-rw-rw-r-- 1 hadoop root 24G Mar 6 08:49 ./data/cities.txt

-rw-rw-r-- 1 hadoop root 18G Mar 6 08:49 ./data/order.txt

-rw-rw-r-- 1 hadoop root 50G Mar 6 10:17 ./data/maxinfo.txt

-rw-rw-r-- 1 hadoop root 19G Mar 6 08:49 ./data/order.txt

-rw-rw-r-- 1 hadoop root 35G Mar 6 10:00 ./data/max.txt

1-22）、yum 常用命令

A）、安装命令

yum install 全部安装

yum install package1 安装指定的安装包package1

yum groupinsall group1 安装程序组group1

B）、更新和升级

yum update 全部更新

yum update package1 更新指定程序包package1

yum check-update 检查可更新的程序

yum upgrade package1 升级指定程序包package1

yum groupupdate group1 升级程序组group1

C）、查找和显示

yum info package1 显示安装包信息package1

yum list 显示所有已经安装和可以安装的程序包，使用@标记

yum list package1 显示指定程序包安装情况package1

yum groupinfo group1 显示程序组group1信息yum search string 根据关键字string查找安装包

D）、删除程序

yum remove | erase package1 删除程序包package1

yum groupremove group1 删除程序组group1

yum deplist package1 查看程序package1依赖情况

E）、清除缓存

yum clean packages 清除缓存目录下的软件包

yum clean headers 清除缓存目录下的 headers

yum clean oldheaders 清除缓存目录下旧的 headers

yum clean, yum clean all (= yum clean packages; yum clean oldheaders) 清除缓存目录下的软件包及旧的headers

1-23）、快速杀掉所有的JAVA进程

[root@hadoop1 ~]# pkill java

或

[root@hadoop1 ~]# killall java

或

Jps | zargs kill -9

1-24）、查看磁盘的IO的性能

[root@hadoop1 ~]# iostat -d -k 2 10

Linux 2.6.32-573.el6.x86_64 (hadoop1.hadoop.com) 05/29/2017 _x86_64_(1 CPU)

Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn

sda 22.21 534.63 32.45 389710 23656

Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn

sda 0.00 0.00 0.00 0 0

-d : 显示设备（磁盘）使用状态

-m : 某些使用block为单位的列强制使用Kilobytes为单位

2 : 多少秒刷新一次

10 : 表示一共显示多少次

1-25）、查看当前正在占用的端口的程序

$ lsof -i :18630

chrome 3294 xiaoxu 240u IPv4 624822 0t0 TCP localhost:33222->xiaoxu:18630 (ESTABLISHED)

chrome 3294 xiaoxu 255u IPv4 624823 0t0 TCP localhost:33224->xiaoxu:18630 (ESTABLISHED)

java 18253 xiaoxu 2279u IPv6 616200 0t0 TCP *:18630 (LISTEN)

java 18253 xiaoxu 2293u IPv6 624657 0t0 TCP xiaoxu:18630->localhost:33222 (ESTABLISHED)

************

1-26）、创建软连接

-b:删除覆盖以前的建立的软连接

-d, -F:允许超级用户制作目录的硬链接

-f : 强制执行

-i ：交互模式，文存在则提示用户是否覆盖

-n：把符号链接视为一般的链接

-v：显示详细的处理过程

$ ln -s /google/chrome/google-chrome /usr/bin/

/google/chrome/google-chrome：源文件的路径

/usr/bin/：目标文件的路径

1-27）、10进制转换为16禁止

echo 1772 |awk '{printf("%x\n",

6ec

1-28）、查看网卡是千M还是万M网卡

$ ethtool em1

Settings for em1:

Supported ports: [ FIBRE ]

Supported link modes: 1000baseT/Full

10000baseT/Full

Supported pause frame use: Symmetric Receive-only

Supports auto-negotiation: No

Advertised link modes: 10000baseT/Full

Advertised pause frame use: No

Advertised auto-negotiation: No

Speed: 10000Mb/s （表示万M网卡，如果是1000M则表示千M网卡）

Duplex: Full

Port: FIBRE

PHYAD: 1

Transceiver: internal

Auto-negotiation: off

Cannot get wake-on-lan settings: Operation not permitted

Current message level: 0x00000000 (0)

Link detected: yes

1-29）、传送文件命令

A）、scp 命令是用

rcp代表“remote file copy”（远程文件拷贝）

$ scp -r root@192.168.3.122:/root/yarnLog.log ~/softWare/software

B）、rcp命令使用

scp就是secure copy，一个在linux下用来进行远程拷贝文件的命令

$ rcp -r root@192.168.3.122:/root/yarnLog.log ~/softWare/software

1-30）、lsblk命令的使用

在“lsblk”代表（ 名单块设备 ），通过在树状时尚标准输出分配给他们的名称（但不是RAM）打印块设备

$ lsblk

NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT

sda 8:0 0 465.8G 0 disk

└─sda1 8:1 0 465.8G 0 part /

sdb 8:16 1 14.7G 0 disk

└─sdb1 8:17 1 14.7G 0 part /media/xiaoxu/522D-5D8F