Linux jq 命令
Linux jq 命令
Linux 命令大全
jq 是一个轻量级且功能强大的命令行 JSON 处理器。它允许你以高效的方式解析、过滤、转换和格式化 JSON 数据，特别适合在 shell 脚本中处理 JSON 数据。
jq 的主要特点
流式处理：可以处理任意大小的 JSON 数据
丰富的操作符：提供多种操作符来处理 JSON 数据结构
格式化输出：可以美化 JSON 输出，提高可读性
跨平台：可在 Linux、macOS 和 Windows（通过 WSL）上运行
安装 jq
在大多数 Linux 发行版中，可以通过包管理器轻松安装 jq：
实例
# Ubuntu/Debian
sudo apt-get install jq
# CentOS/RHEL
sudo yum install jq
# Fedora
sudo dnf install jq
# macOS (使用 Homebrew)
brew install jq
安装完成后，可以通过以下命令验证安装是否成功：
jq --version
基本语法
jq 的基本命令格式如下：
jq [options] [file...]
常用选项参数
选项
说明
-c
紧凑输出（不美化）
-r
输出原始字符串（去除 JSON 引号）
-s
将整个输入流读取到数组中
-M
禁用颜色输出
--arg
定义变量
--slurp
将多个 JSON 对象读入数组
常用操作示例
1. 基本 JSON 解析
假设我们有一个名为 data.json 的文件，内容如下：
实例
{
"name": "John Doe",
"age": 30,
"isActive": true,
"address": {
"street": "123 Main St",
"city": "New York"
},
"hobbies": ["reading", "hiking", "coding"]
}
获取所有内容（美化输出）：
jq '.' data.json
获取特定字段：
实例
jq '.name' data.json
# 输出："John Doe"
获取嵌套字段：
实例
jq '.address.city' data.json
# 输出："New York"
2. 数组操作
获取数组元素：
实例
jq '.hobbies[0]' data.json
# 输出："reading"
jq '.hobbies[1:3]' data.json
# 输出：["hiking", "coding"]
数组长度：
实例
jq '.hobbies | length' data.json
# 输出：3
3. 条件过滤
筛选满足条件的元素：
实例
# 假设有 users.json 包含用户数组
jq '.[] | select(.age > 25)' users.json
4. 数据转换
创建新对象：
实例
jq '{fullName: .name, city: .address.city}' data.json
# 输出：{"fullName": "John Doe", "city": "New York"}
数学运算：
实例
jq '.age * 2' data.json
# 输出：60
5. 处理多个文件
jq -s '.[0] + .[1]' file1.json file2.json
高级用法
1. 使用变量
jq --arg new_city "Boston" '.address.city = $new_city' data.json
2. 处理 API 响应
curl -s https://api.example.com/users | jq '.[] | {name: .name, email: .email}'
3. 复杂数据转换
实例
# 将对象数组转换为 CSV 格式
jq -r '["Name", "Age"], (.[] | [.name, .age]) | @csv' users.json
4. 错误处理
实例
# 使用 try-catch 处理可能不存在的字段
jq 'try .unknown_field catch "default value"' data.json
实际应用场景
1. 日志分析
实例
# 分析 JSON 格式的日志文件
cat app.log | jq 'select(.level == "error") | {time: .timestamp, message: .msg}'
2. 配置处理
实例
# 修改配置文件中的某个值
jq '.config.timeout = 30' config.json > temp.json && mv temp.json config.json
3. 数据统计
实例
# 计算用户平均年龄
jq '[.[].age] | add / length' users.json
常见问题解答
1. 如何处理大型 JSON 文件？
对于非常大的 JSON 文件，可以使用流式处理：
jq -n 'inputs | select(.value > 100)' hugefile.json
2. 如何保留 JSON 中的特殊字符？
使用 -r 选项时，特殊字符会被转义。如果需要原样输出，可以：
jq -j '.' file.json
3. 如何合并多个 JSON 文件？
jq -s 'add' file1.json file2.json
总结
jq 是处理 JSON 数据的强大工具，通过本文的学习，你应该已经掌握了：
jq 的基本安装和使用方法
常见的数据查询和过滤操作
高级数据转换和处理技巧
实际应用场景中的使用方法
要进一步提升 jq 技能，可以：
练习处理各种复杂的 JSON 数据结构
尝试将 jq 集成到你的 shell 脚本中
查阅 jq 官方手册了解更多高级特性
记住，熟练掌握 jq 可以显著提高你在命令行中处理 JSON 数据的效率！
Linux 命令大全