unix/linux

Linux与Shell

, , ,

Linux，你必需知道的

磁盘、进程、内存

  • 保存数据的磁盘
  • 实际处理数据的进程
  • 存储各种运行信息的内存

磁盘和文件

Linux系统没有盘符的概念，它和所有类UNIX系统一样，有一个树型结构的文件系统。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
$ tree -d -L 1 /
/
├── bin -> usr/bin
├── boot
├── dev
├── etc
├── home
├── lib -> usr/lib
├── lib64 -> usr/lib64
├── media
├── mnt
├── opt
├── proc
├── root
├── run
├── sbin -> usr/sbin
├── srv
├── sys
├── tmp
├── usr
└── var

磁盘

df 查看系统已挂载文件系统情况，df只会显示已挂载的分区。

1
2
3
4
5
6
7
8
$ df -h
文件系统        容量  已用  可用 已用% 挂载点
/dev/vda1        77G  1.8G   75G    3% /
devtmpfs        2.0G     0  2.0G    0% /dev
tmpfs           2.0G  4.0K  2.0G    1% /dev/shm
tmpfs           2.0G  8.4M  2.0G    1% /run
tmpfs           2.0G     0  2.0G    0% /sys/fs/cgroup
tmpfs           396M     0  396M    0% /run/user/1000

vdaX 指文件系统分区，v在这里代表KVM使用的virto虚拟文件系统，X是分区号。相应的，sata, ssd等磁盘使用s开头，传统的HHD机械硬盘使用h开头。

fdisk 查看磁盘硬件情况，fdisk 并不显示系统分区，显示电脑上的所有磁盘（包括未挂载磁盘）。

1
2
3
4
5
6
7
8
9
10
11
12
13
$ sudo fdisk -l
[sudo] hldev 的密码：

磁盘 /dev/vda：85.9 GB, 85899345920 字节，167772160 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理)：512 字节 / 512 字节
I/O 大小(最小/最佳)：512 字节 / 512 字节
磁盘标签类型：dos
磁盘标识符：0x00097eb4

   设备 Boot      Start         End      Blocks   Id  System
/dev/vda1   *        2048   161019903    80508928   83  Linux
/dev/vda2       161019904   167772159     3376128   82  Linux swap / Solaris

进程

控制进程就等于控制Linux

  • fork：通过父进程创建一个子进程，子进程是父进程自身的一个副本。
  • exec：舍弃进程原本携带信息，在进程执行时用新的程序代码替代调用进程的内容。

后台执行

在执行命令的结尾加上 & ，可以使程序在后台运行。如：

1
java -jar app.jar &

使用 nohup 命令，可使程序输出不打印到时前端（终端），默认将打印到 nohup.out 文件。

1
nohup java -jar app.jar &

Ctrl+Z

使在前台运行的进程后台运行。

fg

将后台进程拉回前台运行。

快速的数据处理管道

管道蕴含着Linux从Unix中继承的一个重要概念：

程序应该只关注一个目标，并尽可能把它做好。程序应能够互相协同工作。让程序处理文本数据流，这是一个通用的接口

  • stdin：标准输入，文件描述符 0
  • stdout：标准输出，文件描述符 1
  • stderr: 标准错误输出，文件描述符 2

Std in, out, err

1
2
3
4
5
6
$ cat
您好， <---- 从键盘输入
您好， <---- 在屏幕上输出相同内容
海数！ <---- 从键盘输入
海数！ <---- 在屏幕上输出相同内容
          <---- 按Ctrl+D结束

管道

pipe

管道中常用的快捷命令

命令 说明
cut 通过分隔符拆分后，显示指定的域
grep 显示与模式相匹配的行
head 显示文件的开始部分
paste 通过指定的分隔符将两个文件的各行进行合并，或者通过指定的分隔符合并一个文件中的多行
sort 对多行进行排序
tr 替换、删除字符，压缩文字序列
uniq 压缩连续的相同的行
wc 显示文件字节数、字（word）数、行数 
1
2
$ history | grep <...>   // 从历史记录查找使用过的命令
$ ps aux | grep <...>    // 查找匹配的进程

过滤并保存系统运行的所有进程号

1
2
$ ps -ef > /tmp/tmp0
$ cat /tmp/tmp0 | tr -s " " | cut -d " " -f 2 | grep -v "PID" > /tmp/tmp1

cut 命令把 -d 选项指定的文字作为文字分隔符,仅抽取 -f 选项定位的数据(域)。这个例子中,使用空格作为分隔符。但是，由于连续的空格会被当作多个分隔符,因此要事先通过 tr 命令将连续空格转换成一个空格。

内存

物理地址空间和逻辑地址空间

物理内存分为Linux内核自身使用的区域和用户进程使用的区域。内核使用低端内存，高端内存被分配给了用户进程。低端内存中的空闲区域也将被分配给用户进程使用。

Memory

进程在访问物理内存时并不直接指定物理地址，而是指定逻辑地址。内存的内核数据区域中预先设置逻辑地址和物理地址的对应“页表”，
然后 CPU 上搭载的 MMU(Memory Management Unit)硬件会参照该页表,自动实现对映射后物理地址上的数据的访问。

为每个进程提供独立的内存空间，等于实现了进程之间的安全保护。

通过 /proc/meminfo 系统运行内存信息文件查看内存状态

1
2
3
4
5
6
7
8
9
10
11
12
13
14
$ cat /proc/meminfo
MemTotal:        4046524 kB
MemFree:         3717696 kB
MemAvailable:    3673100 kB
Buffers:            2076 kB
Cached:           182044 kB
SwapCached:            0 kB
Active:            89820 kB  <---- Active(anon) + Active(file)
Inactive:         153048 kB  <---- Inactive(anon) + Inactive(file)
Active(anon):      59104 kB
Inactive(anon):    46128 kB
Active(file):      30716 kB
Inactive(file):   106920 kB
......

通过 free 命令查看内存状态

1
2
3
4
$ free
              total        used        free      shared  buff/cache   available
Mem:        4046524      115940     3717364       46484      213220     3672772
Swap:       3376124           0     3376124

Linux 发行版

Linux本身指 GNU/Linux 内核，但只有内核一般用户是没法使用的。所以世面上就出现了很多 Linux 发行版，它打包并整理了一系列开箱即用的工具。

CentOS

CentOS(Community Enterprise Operating System，中文意思是:社区企业操作系统)是Linux发行版之一，它是来自于Red Hat Enterprise Linux
依照开放源代码规定释出的源代码所编译而成。由于出自同样的源代码，因此有些要求高度稳定性的服务器以CentOS替代商业版的Red Hat Enterprise Linux使用。
两者的不同，在于CentOS并不包含封闭源代码软件。

公司的服务器（测试、生产）环境使用的CentOS 7。

Ubuntu

Ubuntu（友帮拓、优般图、乌班图）是一个以桌面应用为主的开源GNU/Linux操作系统，Ubuntu 是基于Debian GNU/Linux，由全球化的专业开发团队（Canonical Ltd）打造的。
其名称来自非洲南部祖鲁语或豪萨语的“ubuntu”一词 [2] ，类似儒家“仁爱”的思想，意思是“人性”、“我的存在是因为大家的存在”，是非洲传统的一种价值观。

公司部分开发人员的开发电脑安装了 Ubuntu 16.04 操作系统。

虚拟化

Linux拥有强大的虚拟化能力。常见的有：

  • KVM：完全虚拟化，OpenStack默认使用它做为系统虚拟化工具
  • Xen：完全虚拟化，类似KVM的另一套虚拟化
  • Cgroup：半虚拟化，Docker/k8s等容器虚拟化的核心

Email Network virt

一个邮件发送系统的虚拟网络构成。

开始使用Linux

终端

终端会话是用户与shell环境打交道的地方，如果你使用的是基于图形用户界面的系统，这指的就是终端窗口。如果没有图形用户界面(生产服务器或SSH会话),那么登录后你看到的就是shell提示符。

CentOS 7的终端提示如下：

1
2
3
[hldev@centos7-001 opt]$ cd /usr/local/share/
[hldev@centos7-001 share]$ pwd
/usr/local/share

$ 表示普通用户，**#** 表示管理员用户root。root是Linux系统中权限最高的用户。

环境变量

环境变量通常保存了可执行文件、库文件等的搜索路径列表。例如 $PATH 和 $LD_LIBRARY_PATH：

1
PATH=/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/home/hldev/.local/bin:/home/hldev/bin

设置环境变量可以在命令行直接使用 export 命令：export JAVA_HOME="/opt/local/jdk1.8。但这样设置在系统重启后就无效了，我们可以把它写到配置文件里面。全局配置：**/etc/profile，用户配置：~/.bash_prfile**。若环境变量写在配置文件内，在重启系统前默认是不会生效的，需要手动使其生效。

1
. ~/.bash_profile

安装软件

在Linux下一般有两种方式来安装软件：

  1. 使用包管理器自动安装
  2. 使用源码编译安装
RPM

CentOS 7 使用yum包管理器安装RPM格式的软件。常用命令有：

  1. 列出已安装包：rpm -l
  2. 用yum安装软件：sudo yum install <software name>
  3. 用yum更新软件：
    • sudo yum update <software name>
    • sudo yum update（更新系统）
  4. 用yum卸载软件：sudo yum erase <software name>
yum

工具和命令

命令

ls：查看文件

ls 列出目录内容。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
$ ls
pgdg-centos96-9.6-3.noarch.rpm  project

$ ls -l
总用量 8
-rw-rw-r-- 1 hldev hldev 4824 9月  19 2017 pgdg-centos96-9.6-3.noarch.rpm
drwxrwxr-x 2 hldev hldev    6 2月  12 13:04 project

$ ls -alhF
 总用量 32K
 drwx------. 3 hldev hldev  173 2月  12 13:04 ./
 drwxr-xr-x. 3 root  root    19 9月  19 2017 ../
 -rw-------. 1 hldev hldev 2.9K 5月   2 10:56 .bash_history
 -rw-r--r--. 1 hldev hldev   18 8月   3 2017 .bash_logout
 -rw-r--r--. 1 hldev hldev  193 8月   3 2017 .bash_profile
 -rw-r--r--. 1 hldev hldev  231 8月   3 2017 .bashrc
 -rw-------  1 hldev hldev   46 9月  19 2017 .lesshst
 -rw-rw-r--  1 hldev hldev 4.8K 9月  19 2017 pgdg-centos96-9.6-3.noarch.rpm
 drwxrwxr-x  2 hldev hldev    6 2月  12 13:04 project/
 -rw-------  1 hldev hldev  460 9月  20 2017 .psql_history
  • -a 列出所有文件
  • -l 列出文件明细
  • -h 使用 human 友好的方式显示文件内容大小
  • -F 将指示符添加到显示的项后面。如：* 可执行，/ 目录，@ 符号连接，= UNIX套接字，
tar（解）压缩

将多个文件压缩成一个单一文件，或相反。Linux tar 命令支持多种压缩格式。常用的有：gzip和bzip2

1
2
3
4
tar czf dist.tar.gz dist
tar cjf dist.tar.bz2 dist
tar xcf dist.tar.gz
tar xjf dist.tar.bz2 -C /opt/haishu/var/www/auth-boot
  • -c 压缩文件，
  • -z 使用 gzip 进行（解）压缩
  • -j 使用 bzip2 进行（解）压缩
  • -x 解压文件
  • -f 指定压缩生成/解压文件
cURL：数据传输命令行工具

cURL 是传输数据到服务器或从服务器获取数据的工具，支持多种协议。如：DICT, FILE, FTP, FTPS, GOPHER, HTTP, HTTPS, IMAP, IMAPS, LDAP, LDAPS, POP3, POP3S, RTMP, RTSP, SCP, SFTP, SMB, SMBS, SMTP, SMTPS, TELNET, TFTP。

上传文件

  • -XPOST：使用HTTP POST方法
  • -F \'filename=@app.jar\'：上传文件字段设置为filename，引用本地目录的 app.jar 文件
1
curl -XPOST -F 'filename=@app.jar'

常用选项

  • --progress：显示进度条
  • --silent：不显示进度信息
  • -O：设置远程文件下载到本地系统的目标文件名
  • -C -：支持断点续传，-C后面的-选项记cURL推断出正确的续传位置，也可以指定明确的字节偏移。
wget: 命令行HTTP客户端

下载文件

-c: 断点下载文件

1
wget -c https://mirrors.aliyun.com/centos/7.4.1708/isos/x86_64/CentOS-7-x86_64-DVD-1708.iso

镜像网站

1
wget -m -k -e robots=off https://www.hualongdata.com/
  • -e robots=off：让wget耍流氓无视robots.txt协议
ps：查找进程

显示当前进程（所有或指定）的快照。

显示系统所有进程

1
ps -ef

显示系统所有终端所有用户进程

1
ps -aux
tail: 监控文件

实时监控 application.log 日志文件最新1024行内容：

1
tail -f -n 1024 application.log
top：查看系统运行状态

实时显示Linux系统运行状况

1
2
3
4
5
6
7
8
9
10
11
12
13
$ top
top - 15:47:49 up  1:03,  1 user,  load average: 0.29, 0.27, 0.42
Tasks: 315 total,   2 running, 245 sleeping,   0 stopped,   0 zombie
%Cpu(s):  0.5 us,  0.3 sy,  0.0 ni, 99.1 id,  0.0 wa,  0.1 hi,  0.0 si,  0.0 st
KiB Mem : 32445240 total, 26918760 free,  3062800 used,  2463680 buff/cache
KiB Swap: 16290812 total, 16290812 free,        0 used. 28910020 avail Mem 

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND         
 1560 yangjing  20   0  983496 121052  75104 S   1.7  0.4   1:29.94 Xorg
 1809 yangjing  20   0 4449852 426112 108836 R   1.7  1.3   5:11.92 gnome-shell
 2710 yangjing  20   0 1200352 116584  82764 S   1.0  0.4   0:14.09 tilix
 6391 yangjing  20   0 7548768 360604  77256 S   0.7  1.1   0:07.54 chrome
 6708 yangjing  20   0  162236   4452   3708 R   0.7  0.0   0:00.15 top

  • 第一行：当前时间，系统运行时长，登录用户数，平均系统负载：1分钟、5分钟、15分钟

  • 第二行：任务（进程）总数，运行数，休眠数，已停止数，僵尸进程数

  • 第三行：CPU运行百分比。us: 用户空间占，用户进程空间内改变过优先级的进程占，空闲CPU占，等待输入输出的CPU，硬中断（Hardware IRQ）占，软中断（Software Interrupts）占

  • 第四行：物理内存总数（KB），空闲内存，已使用内存，缓存的内存

  • 第五行：交换空间总数，空闲交换内存，已使用，可使用

  • PID: 进程号

  • USER: 运行进程的用户

  • PR: 进程优先级

  • NI: nice值。负值表示高优先级，正值表示低优先级

  • VIRT: 进程使用的虚拟内存总量，单位kb。VIRT=SWAP+RES

  • RES: 进程使用的、未被换出的物理内存大小，单位kb。RES=CODE+DATA

  • SHR: 共享内存大小，单位kb

  • S: 进程状态。D=不可中断的睡眠状态 R=运行 S=睡眠 T=跟踪/停止 Z=僵尸进程

  • %CPU: 上次更新到现在的CPU时间占用百分比

  • %MEM: 进程使用的物理内存百分比

  • TIME+: 进程使用的CPU时间总计，单位1/100秒

  • COMMAND: 进程名称（命令名/命令行）

用户管理

group

创建用户组：groupadd -g 1100 devops。创建一个组：devops，并指定组GID为1100

user

创建用户：useradd -u 1100 -g 1100 -G wheel -k -m -d /home/devops devops。

  • -u: 指定用户UID
  • -g: 指定组GID，需要存在
  • -G: 指定附加组，需要存在
  • -k: 骨架目录中的文件和目录将被拷贝到用户主目录
  • -m: 若 -d 指定目录不存在则创建
  • -d: 指定用户主目录
ssh

ssh

OpenSSH客户端

1
$ ssh -p 22222 hldev@centos7-001

sftp

基于SSH协议的FTP客户端，可以通过SSH登录服务器并使用FTP协议上传、下载文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
$ sftp hldev@centos7-001
hldev@centos7-001's password: 
Connected to centos7-001.
sftp> ls
README.md                         pgdg-centos96-9.6-3.noarch.rpm    project                           
sftp> get pgdg-centos96-9.6-3.noarch.rpm 
Fetching /home/hldev/pgdg-centos96-9.6-3.noarch.rpm to pgdg-centos96-9.6-3.noarch.rpm
/home/hldev/pgdg-centos96-9.6-3.noarch.rpm                                                            100% 4824    47.0KB/s   00:00
sftp> !ls
assets	pgdg-centos96-9.6-3.noarch.rpm	README.html  README.md
sftp> put README.html
Uploading README.html to /home/hldev/README.html
README.html                                                                                           100%   10KB  25.2MB/s   00:00 
sftp> ls
README.html                       README.md                         pgdg-centos96-9.6-3.noarch.rpm    project
  • put: 上传本地文件到服务器
  • get: 从服务器下载文件
  • !command: 命令前添加!，命令将在本地执行。

put, get 命令还有些参数可以设置，常用如下：

  • -P: 同步完整的文件权限的访问时间
  • -r: 递归拷贝目录内的所有文件

scp

基于SSH协议的文件拷贝工具，可以将本地文件拷贝到远程服务器。

1
2
3
$ scp README.md hldev@centos7-001:/home/hldev/
hldev@centos7-001's password: 
README.md

VIM，编辑器之神

CentOS系统默认只安装了VI，要使用VIM需要安装：sudo yum -y install vim

VIM全称是：Vi IMproved。改进的Vi，程序员的文本编辑器。VIM被称为编辑器之神。使用 VIM 非常简单，在终端输入 vim 即可。VIM支持全键盘操作，
不需要使用鼠标即可操作，可显著提供工作效率。

同时也可以指定要打开的文件。打开 vim 时可以使用参数，比如：-R 只读模式。在使用VIM查看比较大的日志文件等时候可以防止误操作修改文件。

VIM运行时有三种模式：

  • Normal模式：在Normal模式下，用户可以移动光标、操纵文字、输入各种控制操作
  • Edit模式：顾名思义，编辑模式下可以输入内容。
  • Command模式（指令模式）：在Normal模式下，按 shift+;（输入英文冒号）则可进入指令模式。当编辑器下部出现闪烁的英文冒号时既进入指令模式。

使用VIM打开本文 vim README.md，默认处于 Normal 模式。

VIM open file

VIM 基本使用

这时，可以使用键盘上的 H、J、K、L 4个键移动光标，分别为：向左、上、下、右移动。当光标移动到期望的位置后可以有多种方法进入Edit（编辑）模式。
i：在光标指定字符前进入编辑模式，a：在光标指定字符后进入编辑模式，s：替换光标指定字符并进入编辑模式。

退出Edit模式有两种方法：

  1. 按 Esc 键退出Edit模式并进入Normal模式
  2. 按 ctrl+[ 组合键

VIM技巧

保存和退出（Command模式）

输入 w 将保存当前编辑内容，若是打开的新文件可以在 w 后输入需要保存的文件名。

输入 q 将退出VIM，退出前必需保存已编辑内容。若想放弃当前编辑内容并退出，输入 q! 。

w, q 可以组合输入。比如保存并退出：wq。

快速移动（Normal模式）

翻页

ctrl-f 向前翻一页，ctrl-b 向后翻一页（向前翻页时VIM将保留之前页的最后两行）。

快速定位到文本开头或结尾

连按两次 g 键将光标移动到整个文本开头，shift+g将移动光标到整个文本结尾。

复制、粘贴行（Normal模式）

连续按两次 y 键复制单行，在需要粘贴的地方使用 p 键进行粘贴（将粘贴到光标所在行之下）。

复制多行

按 shift+v 组合键可以高亮一行，这时可以使用 J、K 进行上下移动，选中需要的多行后再按 y 键即可复制多行。

撤销、恢复编辑（Normal模式）

在Normal模式下按 u 键将撤销最后一次编辑（每次保存文件算一次编辑）。按 ctrl+r 将恢复撤销。撤销和恢复可进行多次。

自动补全（Edit模式）

在需要实例的文字后按 ctrl+c ctrl+p 会弹出自动补全选择框，这里可以使用 ctrl+n 或 ctrl+p 进行向下、向下移动，选中需要实例的单词后按 Enter 键即可。

将本地路径录入文本（Edit模式）

使用 ctrl+c ctrl+f 将弹出本地路径选择框（相对当前编辑文本路径），移动光标选中需要的路径，按 Enter 键后录入到文本中。

VIM配置

可以自定义VIM配置，VIM的配置文件为：.vimrc，一般在用户主目录下。编辑配置文件：

1
$ vim ~/.vimrc

输入以下内容打开高亮和自动缩进。

1
2
syntax on
set ai

Shell

Shell是用户使用Linux的桥梁，它既是一种命令语言，又是一种程序。在Linux下，一般默认使用的是 Bash。以下内容非特殊说明，默认使用的Bash。

Bash脚本

可以将一系列命令放到一个脚本文件中自动执行，一般这类脚本文件都以 .sh 结尾。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
#!/usr/bin/env bash

# $1, $2, $x, .... 代表输入的第一、第二、第三个命令行参数
echo $1 $2

# $@ 代表所有命令行参数
echo $@

if [ ! $JAVA_OPTS ]; then
  JAVA_OPTS=' -Xmx1G -Xms1G '
fi

# 执行Java程序
java $JAVA_OPTS -jar application.jar $@

上面是一个普通的shell脚本，使用Bash执行。

分享到