核心基础

comm file1 file2

• 要求：file1、file2 两个文件必须提前排序（sort），否则结果完全乱掉。
• 输出固定3列，用tab制表符隔开：

⚠重点：-1 -2 -3 选项，数字代表【列编号】，不是文件编号！ -1 → 不输出第1列 -2 → 不输出第2列 -3 → 不输出第3列

不是控制文件file1/file2；是控制输出结果里的三列要不要打印出来。

举个简单手工例子

文件A(file1)

1
2
3

apple
banana
cat

文件B(file2)

1
2
3

banana
dog
egg

两个都已经排好序。

执行：

1

comm A B

输出（tab分隔三列）：

1
2
3
4
5

apple
        banana
cat
    dog
    egg

拆解输出：

1. apple → 第1列：只在A(file1)
2. banana →第3列：A、B都有
3. cat →第1列：只在A(file1)
4. dog →第2列：只在B(file2)
5. egg →第2列：只在B(file2)

测试选项

1
2
3
4

comm -1 A B   # 不打印第1列（删掉只属于file1的行）
comm -2 A B   # 不打印第2列（删掉只属于file2的行）
comm -3 A B   # 不打印第3列（删掉两边共有的行）
comm -13 A B  # 同时：关闭第1列 + 关闭第3列

comm -13 A B

• -1：关掉第1列（仅file1的行不输出）
• -3：关掉第3列（两边共有的行不输出） 只剩下第2列：只存在于file2的行。

输出结果：

1
2

dog
egg

符号 - 的含义

comm 的两个参数位置 comm file1 file2，其中任意一个位置写横杠 -，代表：这个位置不从磁盘读文件，改为读取【标准输入(stdin，管道过来的数据)】。

回到书上拼写检查的管道命令：

1

comm -13 dictionary -

参数对应：

1. 第一个参数：dictionary → file1 = 字典文件（磁盘上真实文件，已经sort排序）
2. 第二个参数：- → file2 = 读取管道标准输入（前面管道输出的单词流）

这里： file1 = dictionary（字典）
file2 = 管道传过来待检查的单词

comm -13 dictionary -

• -1：关闭【第1列】：只在file1(字典)里面有的单词 → 不打印
• -3：关闭【第3列】：字典和待检查两边都有的单词 → 不打印
• 剩下：第2列：只存在file2（待检查文本）、不在file1（字典）的单词 → 就是疑似拼错的单词！

表格对应书上示例

一句话记忆：

1. -1 -2 -3 的数字是输出的列号，不是文件号；
2. 参数位置上的-横杠，代表该位置读取管道/标准输入，不是磁盘文件。

完整管道回顾

1
2
3
4
5
6

prepare filename |
tr A-Z a-z |
tr -c a-z '\n' |
sort |
uniq |
comm -13 dictionary -

管道前面一连串输出，送到comm的第二个参数位置（就是那个-），充当file2；磁盘文件dictionary充当file1。

逐点拆解脚本

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

#! /bin/sh
mydict=
case $1 in
+?*)
    mydict=${1#+}    #去掉开头+
    mydict="-p $mydict"
    shift
        ;;
esac
cat "$@" | ispell -l $mydict | sort -u

1. 关于参数 +/usr/local/lib/local.words

调用脚本的时候：

1

./myspell +/usr/local/lib/local.words test.txt

• $1 就是第一个参数：+/usr/local/lib/local.words（加号和路径是一整个参数，不拆开）
• $2 就是 test.txt

你的理解：$1 保存完整的 +/usr/local/lib/local.words，是正确。

2. case $1 in +?*)

这是 shell 的模式匹配（不是正则），写在 case 里面。

• +：字面字符，匹配参数以加号 + 开头
• ?：shell glob，匹配任意1个字符
• *：shell glob，匹配0个或者任意多个字符

合起来：+?*

匹配：以+开头，并且加号后面至少还要有一个字符。 也就是识别 +filename 这种格式；单独一个 + 不会匹配。

你理解的：加号开头后面跟任意字符 ✔，? 保证不能只有一个孤零零的加号。

3. ${1#+} —— 参数展开，不是命令替换！！重点区分 ，${1#+} 等价于 ${$1#+} 是错误！不能写美元符号在大括号里面的数字上，大括号内直接写数字代表位置参数。

分清两个极易搞混符号

1. 命令替换：$(...) 美元括号，执行命令拿输出。
2. 参数/变量展开：${var#pattern} 大括号，对变量字符串做删除，不启动任何子进程、不执行外部命令。

语法：${变量#模式}

#：从字符串开头，删除最短匹配的模式。

例子：

1
2

var="+/usr/local/lib/local.words"
echo ${var#+}

${var#+}：删掉变量开头的字面字符 +，得到结果： /usr/local/lib/local.words

回到代码：

1

mydict=${1#+}

$1 值是 +/usr/local/lib/local.words ${1#+} → 删除开头的 +，得到纯路径 /usr/local/lib/local.words。

然后：

1

mydict="-p $mydict"

变量变成：mydict="-p /usr/local/lib/local.words"，后面直接给 ispell 使用。

对比记忆

4. shift

匹配成功执行 shift；

shift：把位置参数左移一位。原来的$2变成新$1。

调用示例：./myspell +dict.txt a.txt b.txt

• shift 执行前：$1=+dict.txt $2=a.txt $3=b.txt
• shift 执行后：$1=a.txt $2=b.txt>

把带+的字典参数消耗掉，剩下的都是待检查的文件名。

5 cat "$@"

• $@：全部位置参数；加双引号 "$@"，每一个参数作为独立一项，文件名带空格也不会错乱。

shift之后，$@里面就是用户传入待检查的全部文件列表。 cat "$@" 读取所有这些文件的内容，输出到管道。

把完整调用走一遍

调用命令：

1

./myspell +/usr/local/lib/local.words note.txt

1. $1=+/usr/local/lib/local.words，case匹配 +?*
2. mydict=${1#+} → mydict=/usr/local/lib/local.words
3. mydict="-p $mydict" → mydict="-p /usr/local/lib/local.words"
4. shift：参数移位；现在 $1=note.txt
5. cat "$@" → cat note.txt，读取文件内容输出管道
6. 管道交给：ispell -l -p /usr/local/lib/local.words
7. 输出交给 sort -u 排序去重。

如果调用脚本不带 +xxx 参数：case不匹配，mydict保持为空。 那管道就变成：cat "$@" | ispell -l | sort -u，不传递 -p 私有字典。

思考题

1
2

arg="+hello.world"
echo ${arg#+}

输出结果是什么？

答案 hello.world

关键小结

1. +?*) case glob模式：匹配以+开头，加号后面至少有一个字符的参数。
2. ${1#+}：变量展开，不是命令替换，删除字符串开头的+。
3. shift：把已经处理完的字典参数扔掉，剩下的就是待检查文件名。
4. "$@"：全部剩余文件名，传给cat读取。
5. 原生 spell +dict file 的接口，通过脚本翻译成 ispell -l -p dict 的接口。>

这就是shell包装脚本的价值：把旧程序的参数格式，翻译成新程序能识别的格式。

awk getline word < file详解

1
2
3

while ((getline word < file) > 0)
    Dictionary[tolower(word)]++
close(file)

你的理解大体正确：
getline 用来读取磁盘文件file的一行文本，读到的行存入变量word。
读到文件末尾，就返回0，循环退出；发生错误返回负数。

getline 变量 < 文件 语法

1

getline word < file

1. 打开磁盘上的 file 文件；
2. 读取一行，去掉末尾换行符，放到变量 word；
3. 返回值（非常重要）

while条件

1

while ((getline word < file) > 0)

• 只要返回值大于0（成功读到一行），就执行循环体；
• 返回0（文件读完） → while条件不成立，跳出循环；
• 如果文件打不开返回 -1，也直接跳出循环。

外面两层括号 ((... )>0)：内层括号把getline作为整体，拿它的返回值和0比较。

完整流程走一遍

假设字典文件words内容：

1
2
3

Apple
Banana
Cat

1
2
3
4
5
6

for (file in DictionaryFiles)   # file="/usr/dict/words"
{
    while ((getline word < file) > 0)
        Dictionary[tolower(word)]++
    close(file)
}

1. getline word < file →读到Apple → word="Apple"，返回1； tolower(word)变成apple；Dictionary["apple"]++，数组key保存单词。
2. 再次循环：getline读下一行 Banana → word=“Banana”，存入Dictionary["banana"]
3. 再次循环：getline读Cat →存入Dictionary["cat"]
4. 再次执行getline word < file：已经到文件结尾，返回0；0>0为假，退出while循环。
5. close(file)：❗必须关闭文件。>

awk不会自动关闭getline < file打开的文件；不close，打开文件句柄会耗尽，多次调用会bug。

重点区分两套完全不一样的读取（极易混淆）

①普通awk自动读取（主输入流，不用写getline）

1

awk '{print $0}' test.txt

awk自动循环读test.txt每一行，存入$0，这是awk默认工作模式。

②getline var < filename 手动读取磁盘文件（本案例）

这是手动主动打开另外一个磁盘文件，和awk主输入文件无关！
在这个load_dictionaries函数里面：awk正在处理待检查文本；同时用getline额外读取字典磁盘文件，加载单词表。

• 读到的内容放到自定义变量word，不会修改 $0 $1 NF 这些字段！

⚠关键点：word是自定义变量，不是$0。getline var这种形式，不会更新$0、NF、NR、FNR。

易错点

1. getline word < file，< file这里的file是awk变量，不要加引号。
   • file存文件名字符串；
   • 不能写 getline word < "file"，那会打开名叫字面字符串file的文件。
2. 用完一定要 close(file)；反复循环打开大量文件，不关闭会报“too many open files”。
3. 判断条件是 >0，不要写 !=0。因为出错返回负数，-1 !=0也成立，会进入循环，程序异常。

1
2

#不推荐，文件打不开也会跑循环
while ((getline word < file) !=0)

标准写法：while ((getline word < file) > 0)，只处理成功读到行的情况。

简短总结

1. getline word < file：打开file，读取一行放到变量word；返回1成功，0到文件末尾，负数出错。
2. while ((getline word < file) >0)：循环读取全部行，读到文件末尾退出循环。
3. 这是手动读取额外磁盘文件，和awk主输入流无关，不改变$0。
4. 读取完成务必close(file)关闭文件。

awk：gsub、sub、NF、正则 ^'+

1. NF 内置变量

NF = Number of Fields，当前这一行的字段总数

awk 默认按空白（空格、tab）切割一行文本，切割之后：

• $1：第 1 个字段
• $2：第 2 个字段
• …
• $NF：最后一个字段
• NF：一共有多少个字段。

2. sub() 与 gsub()

两者都是字符串替换函数。

语法：

1
2

sub(正则, 替换成什么, 待处理变量)
gsub(正则, 替换成什么, 待处理变量)

例子 1 gsub（代码第一行）

gsub(NonWordChars, "")

• 没有写第三个参数，默认操作$0当前整行；
• 把所有匹配NonWordChars正则的字符，全部替换为空字符串（直接删掉）。

作用：把一行里面所有非单词字符全部清除。

例子 2 sub

1

sub("^'+", "", word)

• 在变量word上操作；
• 找到匹配正则的内容，只替换第一个匹配，替换成空（删除）。

1

sub("^'+", "", word)

• 在变量word上操作；
• 找到匹配正则的内容，只替换第一个匹配，替换成空（删除）。

3. 正则表达式 "^'+ 拆解

1

"^'+

表格

^'+ = 字符串开头，连续一个或多个撇号 '。

示例：

• 单词 '''hello：开头有 3 个撇号 → 匹配成功，全部删掉 → 得到hello
• don't：撇号在中间，不是开头，不会匹配，保留 don't