本文还有配套的精品资源点击获取简介这个资源包整理了300多个真实可运行的bash脚本全部以.bash为后缀开箱即用支持直接执行或逐行调试。内容覆盖Shell编程核心场景变量定义与扩展含eval动态执行、数组创建与追加array-append.bash、empty-array.sh、字符串截取与替换array-strops.sh、条件循环控制continue-n.example、文件批量归档与完整性校验file-integrity.sh、远程交互remote.bash、ftpget.sh、环境配置bashrc、数据排序bubble.sh、insertion-sort逻辑内嵌于ex9.sh等、经典算法实现hanoi.bash汉诺塔、brownian.sh布朗运动模拟、cannon.sh抛物线轨迹计算以及实用工具is_spammer.bash识别垃圾邮件源、wgetter2.bash增强版下载器、dict-lookup.sh词典查询。配套HTML文档结构清晰含xrefindex.html和index.html双索引涵盖特殊字符转义规则、内置命令详解、文本处理技巧sed/awk集成示例、进程通信机制管道与信号处理及系统调用封装。附带测试数据文件names.data、words.data、data-file和目录工具cdll、directory-info.sh方便验证脚本行为。适合每天在终端敲命令的Linux用户、需要快速写运维脚本的工程师以及想通过动手理解Shell底层逻辑的新手。1. 这不是“教程”是300多个你明天就能用上的Shell脚本工具箱我第一次看到这个资源包时正卡在一个凌晨三点的线上故障里一台生产服务器的日志轮转脚本突然失效logrotate配置没动但/var/log/app/下堆了27GB的.gz文件磁盘使用率98%。我手忙脚乱翻自己写的cleanup-old-logs.bash发现它依赖一个被同事删掉的dateutils函数库——那一刻我才真正意识到所谓“会写Shell”不等于“能立刻解决问题”。你缺的从来不是语法手册而是一套经过真实终端锤炼、能直接chmod x ./xxx.bash跑起来的、带注释、带数据、带错误处理的活代码。这套300多个.bash脚本合集就是这么个东西。它不讲“什么是变量”而是给你array-append.bash——三行代码演示如何安全地向索引数组追加元素避免在空数组时意外创建关联数组它不罗列sed命令大全而是把dict-lookup.sh拆开给你看怎么用awk预处理词典文件的字段分隔符再用grep -E做模糊匹配最后用column -t对齐输出整个流程封装进一个可传参的函数它甚至把hanoi.bash这种教学型脚本也加上了-v调试开关和栈深度限制防止递归爆栈导致终端假死。关键词里的“Shell脚本”“bash实例”“Linux运维”“命令行工具”“自动化脚本”在这里不是标签是每个文件名后缀.bash所承载的实打实功能file-integrity.sh校验文件MD5并自动告警remote.bash用ssh原生命令实现免密批量执行is_spammer.bash解析/var/log/maillog提取IP频次并比对公开黑名单库——这些不是玩具是我在客户现场抄起就改、改完就上线的“战术脚本”。它适合谁不是只适合“想学Shell”的人。更适合每天打开终端第一件事是敲ps aux | grep nginx的运维同学适合被老板临时抓差写个“把昨天所有.csv按日期归档到/backup/20240515/”的开发同事适合刚装好Ubuntu、对着$PATH发呆的新手。因为它的设计逻辑很朴素先让你跑通再让你看懂最后让你改出自己的版本。配套HTML文档不是PDF式教科书而是像IDE的跳转索引——点开xrefindex.html搜eval立刻跳到eval.example的源码行号旁边还附着一行注释“此处用eval拼接动态变量名替代declare -n兼容老系统”。没有废话只有上下文。所以别把它当学习资料收藏夹把它当成你的~/bin/扩展目录——挑一个脚本cp到本地./运行cat看源码改两行参数再跑一次。这才是Shell该有的学法。2. 脚本设计哲学为什么这300多个文件能“开箱即用”2.1 “开箱即用”的底层逻辑从文件命名到执行契约很多人以为“开箱即用”就是chmod x后能跑。但这套合集的“即用性”远不止于此。它建立在一套严格的执行契约上——每个.bash文件都默认遵守四个隐含约定这是它区别于网上零散Gist的核心入口统一所有脚本第一行必须是#!/bin/bash -e或#!/usr/bin/env bash -e-e标志确保任何命令失败立即退出杜绝静默错误。你看bubble.sh开头bash #!/bin/bash -e # Bubble sort implementation with array input validation # Usage: ./bubble.sh 64 32 16 8 4 2 1它不假设你已source过某个库也不依赖环境变量预设所有输入通过$接收所有输出走stdout/stderr符合Unix哲学“一个程序只做一件事并做好”。数据解耦脚本本身不硬编码测试数据。names.data、words.data、data-file这三个文件是独立存在的“数据源”array-strops.sh读取words.data做字符串替换days-between.sh读取data-file计算日期差。这意味着你可以把生产日志路径传给file-integrity.sh而不用改脚本内部路径——数据与逻辑彻底分离。调试友好每个脚本内置-ddebug开关。以continue-n.example为例bash if [[ $1 -d ]]; then set -x # 启用xtrace显示每行执行过程 shift fi运行./continue-n.example -d 1 2 3 4 5终端会逐行打印 echo Processing: 1让你看清循环中continue 2到底跳过了哪两层。这比在vim里加echo再删掉高效十倍。错误防御拒绝“裸奔式”脚本。ftpget.sh开头有段检查bash # Check required commands for cmd in ftp wget curl; do if ! command -v $cmd /dev/null; then echo ERROR: Required command $cmd not found. Install it first. 2 exit 127 fi done它不假设你装了ftp客户端而是主动探测并报错。这种防御思维让脚本在CentOS 7、Ubuntu 22.04、甚至Alpine Linux容器里都能给出明确失败原因而不是卡在ftp: command not found后沉默。提示这种契约感是团队协作的基础。我在上一家公司推行过类似规范——所有运维脚本必须带-h帮助、-d调试、-v详细输出且--help输出必须包含完整用例。结果新同事入职第三天就能独立修改备份脚本因为结构完全一致。2.2 为什么选.bash后缀而非.sh一个被忽视的兼容性细节你可能疑惑为什么所有文件都是.bash后缀明明POSIX shell也能跑大部分脚本。答案藏在eval.example和array-append.bash里——它们用了bash特有语法eval array(${array[]/#/prefix_})这是bash 4.3的数组元素前缀替换sh不支持。declare -A hash_map关联数组声明POSIX shell无此概念。[[ ]]条件判断比[ ]更安全支持正则匹配[[ $str ~ ^[a-z]$ ]]。用.bash后缀是一种显式声明此脚本依赖bash解释器不承诺兼容dash、ash等轻量shell。这反而提升了可靠性——当你在Debian系统上执行./hanoi.bash系统会调用/bin/bash而非/bin/sh后者在Debian中是dash避免因语法差异导致汉诺塔递归栈溢出崩溃。我见过太多脚本因#!/bin/sh开头却用了[[在生产环境静默失败。这套合集用后缀强制约束执行环境是工程师对确定性的尊重。2.3 HTML文档的索引设计不是目录而是知识图谱配套HTML文档的价值常被低估。index.html是线性目录而xrefindex.html才是精髓——它是一个双向交叉引用索引。比如你在array-strops.sh里看到printf %s\n ${arr[]//[^a-zA-Z]/}想知道//替换语法细节不必去翻《Bash Reference Manual》直接在xrefindex.html搜parameter expansion会看到关键字出现位置示例脚本说明//替换Parameter Expansionarray-strops.sh全局替换${var//old/new}#前缀删除Parameter Expansionbase.sh删除最短匹配前缀${var#*/}eval动态执行Shell Featureseval.example将字符串作为命令执行慎用更关键的是每个“出现位置”链接直跳对应脚本的GitHub行号如果托管或本地文件行号。这种设计把抽象语法变成可验证的实例把文档从“查手册”变成“跟代码”。我教新人时会让ta打开xrefindex.html随机点一个sed相关条目然后去ftpget.sh找实际用法——这种“文档→代码→调试”的闭环比背诵sed s/old/new/g有效十倍。3. 核心脚本深度解析从基础到算法的实战拆解3.1 字符串与数组array-strops.sh和empty-array.sh里的生存技巧Shell里字符串和数组操作常被诟病“反人类”但array-strops.sh用12个案例证明只要理解bash的分词规则和引号语义就能写出健壮代码。我们拆解其中两个高频痛点痛点1安全地将多行输出转为数组常见错误写法# 危险未引号包裹空格会破坏元素边界 lines$(ls -1) arr($lines) # 若文件名含空格如my file.txt会被拆成my和file.txtarray-strops.sh的正确解法# 方法1用mapfilebash 4.0 mapfile -t arr (ls -1) # -t去掉每行末尾换行符 # 方法2IFSread兼容老版本 IFS$\n read -rd -a arr (ls -1)关键点在于mapfile是专为数组设计的内置命令-t选项自动裁剪换行符而read -a配合IFS$\n强制按换行符分割避开空格陷阱。array-strops.sh里还演示了如何用printf %q对数组元素做shell转义防止后续eval执行时被注入。痛点2空数组的初始化与检测新手常犯错误arr() # 初始化空数组 if [ ${#arr[]} -eq 0 ]; then ... # 正确 # 但若写成 if [ ${arr[]} ]; then ... 会出错因为${arr[]}展开为空test命令收到零参数empty-array.sh给出了工业级检测方案# 检测数组是否为空兼容bash 3.x is_array_empty() { local arr_name$1 # 使用间接引用获取数组长度 local len eval len\${#${arr_name}[]} [[ $len -eq 0 ]] } # 使用示例 declare -a my_arr if is_array_empty my_arr; then echo Array is empty fi这里用eval动态构造${my_arr[]}的长度查询规避了bash版本兼容问题。注意注释里强调“兼容bash 3.x”——因为很多生产服务器仍跑着CentOS 6bash 4.1以下这种细节正是“即用”的底气。实操心得我在处理Nginx访问日志时曾用array-strops.sh的${line%% *}截取IP字段但发现某些UA字段含空格导致截取错误。后来改用awk {print $1}更可靠。这提醒我Shell字符串操作适合简单场景复杂文本解析务必交给awk/sed——脚本合集的价值不是教你“万能解法”而是帮你快速识别何时该换工具。3.2 文件处理与完整性校验file-integrity.sh的工程化思维file-integrity.sh表面是个MD5校验脚本实则是小型运维系统的缩影。它解决三个真实问题增量校验不每次全量扫描而是记录上次校验时间戳只检查mtime更新的文件异常隔离遇到权限不足的文件如/root/.bash_history不中断整个流程而是记录到error.log并继续结果聚合生成HTML报告用table展示变更文件、新增文件、缺失文件。核心逻辑节选# Step 1: Build file list, skip inaccessible dirs find $target_dir -type f -printf %T %p\0 2/dev/null | \ while IFS read -r -d line; do mtime$(echo $line | cut -d -f1) file$(echo $line | cut -d -f2-) # Only process files modified after last run if (( $(echo $mtime $last_run_ts | bc -l) )); then md5sum $file 2/dev/null || echo ERROR: $file error.log fi done | sort $tmp_md5_file这里用了find -printf避免ls解析问题read -d 处理含空格路径bc做浮点时间比较$(( ))不支持小数。更妙的是错误处理md5sum $file 2/dev/null || echo ERROR: $file error.log用||捕获失败并记录而非set -e中断——因为校验单个文件失败不该影响全局。配套的data-file测试数据设计也极用心它包含正常文件、符号链接、权限为000的文件、以及一个故意损坏的corrupted.bin。运行./file-integrity.sh>retry_count0 max_retries3 while [[ $retry_count -lt $max_retries ]]; do if wget --timeout30 --tries1 --user-agent$ua $url -O $output; then break else ((retry_count)) sleep $((2**retry_count)) # 指数退避 fi done这种“协议感知”的设计让脚本在真实网络环境中鲁棒性远超通用工具。我在爬取某政府网站时原始wget因UA被拒换成wgetter2.bash指定Chrome UA后秒通——脚本的价值正在于这些藏在细节里的生存智慧。3.4 经典算法实现hanoi.bash和brownian.sh的教学与工程平衡算法脚本常被批“脱离实际”但hanoi.bash和brownian.sh证明算法可以既是教学范本又是工程组件。hanoi.bash的亮点在于递归控制与资源保护# 限制最大递归深度防栈溢出 MAX_DEPTH20 hanoi() { local n$1 from$2 to$3 via$4 depth${5:-0} if (( depth MAX_DEPTH )); then echo ERROR: Recursion depth exceeded ($MAX_DEPTH). Aborting. 2 return 1 fi if (( n 0 )); then hanoi $((n-1)) $from $via $to $((depth1)) echo Move disk $n from $from to $to hanoi $((n-1)) $via $to $from $((depth1)) fi }它没有追求“最短代码”而是加入深度监控、错误提示、清晰的参数命名。当学生运行./hanoi.bash 3 A B C时看到的不只是算法逻辑更是如何写安全递归的范例。brownian.sh模拟布朗运动则展示了数学建模与终端可视化的结合# 用ANSI转义序列在终端画粒子轨迹 draw_particle() { local x$1 y$2 # 计算屏幕坐标适配不同终端尺寸 local screen_x$(( (x 50) * COLS / 100 )) local screen_y$(( (y 50) * LINES / 100 )) printf \033[%d;%dH\033[0m $screen_y $screen_x }它把物理公式x rand(-1,1)转化为终端坐标用\033[...H定位光标。这种“用最简工具实现复杂效果”的思路正是Shell工程师的核心能力——不依赖GUI库仅凭终端原语创造交互。4. 实操全流程从环境准备到定制化改造4.1 环境准备三步构建可信赖的实验沙盒别急着跑脚本。先搭一个干净、可复现的环境这是避免“在我机器上能跑”陷阱的前提。步骤1创建隔离目录与最小化环境mkdir -p ~/shell-lab/{scripts,data,docs} cd ~/shell-lab # 下载资源包假设已解压 cp -r /path/to/resource/* scripts/ # 创建最小化bash环境禁用非必要选项 echo set -o noglob ~/.bashrc.min echo set -o nounset ~/.bashrc.min echo PS1[shell-lab]\$ ~/.bashrc.min步骤2验证bash版本与特性运行scripts/base.sh它输出当前bash版本和启用的选项$ ./scripts/base.sh BASH_VERSION: 5.1.16(1)-release Enabled options: braceexpand emacs histexpand interactive # 检查关键特性 $ declare -A test_hash 2/dev/null echo Associative arrays: OK || echo Not supported $ [[ abc ~ ^[a-z]{3}$ ]] echo Regex: OK || echo No regex若发现declare -A不支持bash 4.0则跳过Hash.lib相关脚本改用awk模拟哈希表——这就是“即用”的另一层含义知道哪些脚本能用哪些需绕行。步骤3数据文件校验与加载data-file是测试基石先确认其完整性# 检查data-file是否含预期字段 head -5 scripts/data-file # 应输出类似 # name|age|city # Alice|28|Beijing # Bob|35|Shanghai # 验证脚本能正确读取 ./scripts/array-strops.sh scripts/data-file | head -3 # 应输出前三行经处理后的结果若head报错“Permission denied”检查data-file权限chmod 644 scripts/data-file。很多新手卡在这一步以为脚本坏了其实是数据文件权限问题。注意永远不要在生产环境直接运行未审查的脚本。我的习惯是先./script.bash -h看帮助再./script.bash -d看调试输出最后才传真实参数。-d开关是你的安全网。4.2 快速上手从一个脚本开始的72小时实践路径别试图“学完300个”。按这个节奏72小时内你就能产出可用成果Day 1掌握一个工具脚本推荐dict-lookup.sh- 运行./scripts/dict-lookup.sh -h理解参数- 用names.data测试./scripts/dict-lookup.sh -f names.data -k Alice-cat scripts/dict-lookup.sh重点看awk部分如何用-F|指定分隔符- 修改脚本添加-i忽略大小写选项提示在awk中用tolower($1) ~ tolower(pattern)- 保存为dict-lookup-caseins.sh测试./dict-lookup-caseins.sh -k alice。Day 2改造一个运维脚本推荐file-integrity.sh- 运行./scripts/file-integrity.sh scripts/观察输出- 查看生成的integrity_report.md理解其格式- 修改脚本将报告格式从Markdown改为CSV替换echo | $file | $md5 |为echo $file,$md5- 添加-o output.csv参数将结果重定向到文件- 测试./file-integrity.sh -o report.csv scripts/。Day 3组合两个脚本解决实际问题场景监控/var/log/nginx/access.log当某IP请求超100次/分钟时告警。- 用awk {print $1} /var/log/nginx/access.log | sort | uniq -c | sort -nr | head -10提取Top IP- 将此命令嵌入is_spammer.bash逻辑修改阈值为100- 用remote.bash将告警发送到管理服务器./remote.bash -H monitor-server -c echo SPAM ALERT: $ip /var/log/spam.log- 最终形成nginx-spam-monitor.bash加入crontab每分钟执行。这个路径的价值在于它强迫你从“阅读者”变成“修改者”再变成“创造者”。每个步骤都有脚本合集作为支撑你不是在造轮子而是在轮子上装新轮胎。4.3 定制化改造如何安全地扩展你的脚本库当你开始写自己的脚本这些来自合集的经验能救命经验1函数库的模块化管理合集中的Hash.lib是函数库范本。它不直接执行只定义函数# Hash.lib hash_set() { local key$1 value$2 eval ${3:-hash}[\$key]\$value } hash_get() { local key$1 eval echo \${${2:-hash}[\$key]} }你的自定义库应遵循- 文件名以.lib结尾避免被误执行- 所有函数名加前缀如mylib_防命名冲突- 用return 0/1表示成功/失败不exit。经验2配置与代码分离bashrc文件展示了最佳实践- 主配置放~/.bashrc只source核心库- 用户个性化配置放~/.bashrc.local被.gitignore忽略- 敏感信息API密钥绝不硬编码用export API_KEY$(cat ~/.api_key)加载。经验3错误处理的三层防御参考ftpget.sh1.前置检查command -v curl /dev/null || { echo curl missing; exit 1; }2.运行时捕获curl -s $url || { echo Download failed; exit 2; }3.事后验证[[ -s $output ]] || { echo Empty file; rm $output; exit 3; }。这三层让脚本在任何环节失败都给出明确线索而非静默消失。5. 常见问题与排查技巧实录那些踩过的坑比文档还珍贵5.1 经典报错与根因分析速查表报错信息可能原因排查命令解决方案line 12: syntax error near unexpected token elifbash版本过低不支持elifbash 2.xecho $BASH_VERSION改用else if嵌套或升级basharray[]: bad array subscript数组未声明或为空尝试访问arr[0]declare -p arr用is_array_empty arr检测后再访问No such file or directory指向.bash文件脚本有Windows换行符\r\nfile script.bash或cat -A script.bashdos2unix script.bash或sed -i s/\r$// script.bashcommand not found: mapfilebash 4.0mapfile不可用help mapfile改用IFS$\n read -d -a arrPermission denied对数据文件数据文件权限不足如000ls -l scripts/data-filechmod 644 scripts/data-file提示file命令是你的第一道防线。运行file scripts/*.bash确认所有脚本都是Bourne-Again shell script, ASCII text executable。若出现C source, ASCII text说明文件被意外覆盖为C代码——这种低级错误我亲手干过三次。5.2 调试黄金法则从set -x到bashdb初级调试set -x与set -v-set -x显示执行的命令含变量展开 echo Hello $USER-set -v显示原始输入行echo Hello $USER组合使用set -v -x先看写了什么再看执行了什么。中级调试trap捕获信号在脚本开头加trap echo ERROR at line $LINENO: $BASH_COMMAND ERR当任意命令失败时打印错误行号和具体命令比set -e更精准。高级调试bashdb可视化调试安装bashdbsudo apt install bashdb然后bashdb ./scripts/hanoi.bash 3 A B C (bashdb) break 15 # 在第15行设断点 (bashdb) run # 运行至断点 (bashdb) print n # 查看变量n值这相当于Shell的VS Code调试器对理解递归、循环变量作用域至关重要。5.3 性能瓶颈识别当脚本变慢时先查这三处Shell脚本慢90%源于三类问题问题1无谓的进程创建反模式count$(ls | wc -l) # 创建ls、管道、wc三个进程优化shopt -s nullglob files(*) # glob展开为数组零进程 count${#files[]}问题2重复的磁盘IO反模式for file in *.log; do size$(stat -c%s $file) # 每次stat都读磁盘 if [[ $size -gt 1000000 ]]; then ... done优化# 一次性读取所有文件信息 stat -c%n %s *.log | while read file size; do if [[ $size -gt 1000000 ]]; then ... done问题3正则引擎滥用反模式if [[ $line ~ .*error.* ]]; then ... # .*太贪婪大文件慢优化if [[ $line *error* ]]; then ... # 用shell通配符快10倍我在优化一个日志分析脚本时用time对比发现将grep -E pattern改为awk /pattern/{print}速度提升40%因为awk单进程处理流式数据而grep需启动新进程。性能优化的本质是理解每个命令背后的系统调用开销。6. 从脚本到工程如何将这些片段融入你的工作流6.1 日常运维把脚本变成你的肌肉记忆别让脚本躺在~/shell-lab/scripts/里吃灰。我的做法是~/bin/软链接ln -s ~/shell-lab/scripts/file-integrity.sh ~/bin/integrity-check以后 anywhereintegrity-check /var/logbashrc函数封装在~/.bashrc加bash nginx-top-ip() { awk {print $1} /var/log/nginx/access.log | sort | uniq -c | sort -nr | head -$1 }运行nginx-top-ip 5秒出结果cron自动化每天凌晨2点校验关键配置bash # crontab -e 0 2 * * * /home/user/shell-lab/scripts/file-integrity.sh /etc/nginx/conf.d/ /var/log/integrity.log 21关键是让脚本成为你终端交互的一部分而非“需要想起来才用的工具”。6.2 团队协作如何推广这套实践在团队中推行切忌“强推300个脚本”。我的成功经验先解决痛点收集同事最常手动做的三件事如“清理旧日志”“同步配置文件”“检查服务端口”用合集中对应脚本改造命名为cleanup-logs.sh、sync-config.sh、check-ports.sh文档即代码每个脚本的--help输出必须包含完整用例README.md用scripts/*.bash | xargs -I{} {} -h自动生成CI验证在GitLab CI中添加job每次push自动运行./scripts/test-all.sh合集自带确保脚本语法正确、基础功能可用。当同事发现./sync-config.sh prod比手动scp快且不出错推广就水到渠成。6.3 个人成长从使用者到贡献者的跃迁这套合集最珍贵的不是300个脚本而是它示范的工程化思维测试驱动每个脚本都应有对应的test_*.bash如test_file_integrity.sh用diff比对期望输出版本控制git init你的~/shell-lab/每次修改提交git log --oneline -n 5回顾进步持续集成用GitHub Actions跑shellcheck静态分析工具阻止语法错误入库。我建议你做一件小事选一个你最常用的脚本比如dict-lookup.sh给它写一个test_dict_lookup.sh用names.data作为输入断言./dict-lookup.sh -k Alice输出包含28。完成这个你就跨过了从“使用者”到“协作者”的门槛。最后分享个小技巧在~/shell-lab/scripts/下创建aliases.sh内容alias bbash -x # 快速调试 alias ssource # 重载配置 alias lls -la然后在~/.bashrc中source ~/shell-lab/scripts/aliases.sh。这些微小习惯日积月累就是专业与业余的分水岭。Shell不是过时的技术它是Linux世界的神经末梢——而这份合集是你握紧它的第一份力量。本文还有配套的精品资源点击获取简介这个资源包整理了300多个真实可运行的bash脚本全部以.bash为后缀开箱即用支持直接执行或逐行调试。内容覆盖Shell编程核心场景变量定义与扩展含eval动态执行、数组创建与追加array-append.bash、empty-array.sh、字符串截取与替换array-strops.sh、条件循环控制continue-n.example、文件批量归档与完整性校验file-integrity.sh、远程交互remote.bash、ftpget.sh、环境配置bashrc、数据排序bubble.sh、insertion-sort逻辑内嵌于ex9.sh等、经典算法实现hanoi.bash汉诺塔、brownian.sh布朗运动模拟、cannon.sh抛物线轨迹计算以及实用工具is_spammer.bash识别垃圾邮件源、wgetter2.bash增强版下载器、dict-lookup.sh词典查询。配套HTML文档结构清晰含xrefindex.html和index.html双索引涵盖特殊字符转义规则、内置命令详解、文本处理技巧sed/awk集成示例、进程通信机制管道与信号处理及系统调用封装。附带测试数据文件names.data、words.data、data-file和目录工具cdll、directory-info.sh方便验证脚本行为。适合每天在终端敲命令的Linux用户、需要快速写运维脚本的工程师以及想通过动手理解Shell底层逻辑的新手。本文还有配套的精品资源点击获取