云网牛站
所在位置:首页 > Linux命令 > 使用Linux命令行工具jq解析JSON的方法

使用Linux命令行工具jq解析JSON的方法

2019-03-16 10:11:55作者:李哲稿源:云网牛站

本文将使用Linux操作系统上的命令行工具jq解析JSON,介绍jq的安装及使用方法,它对于在shell脚本中处理大型JSON数据或在shell脚本中处理JSON数据非常有用。

 

简介

JSON是一种轻量级且与语言无关的数据存储格式,易于与大多数编程语言集成。JSON这个词代表JavaScript Object Notation,虽然它以JavaScript开头,主要用于在服务器和浏览器之间交换数据,但现在用于包括嵌入式系统在内的许多领域。

使用Linux命令行工具jq解析JSON的方法

 

pretty printing

JSON数据的结构更具人性化,但是在大多数情况下,即使没有行结束字符,JSON数据也会存储在一行中,显然,手动阅读和编辑不太方便。

那时pretty printing很有用,该名称非常好解释,重新格式化JSON文本,使更清晰,这被称为JSON pretty printing。

 

使用Linux命令行工具解析JSON简要

可以使用命令行文本处理器(如awk、sed和gerp)解析JSON数据,JSON.awk是一个awk脚本,有一些专用工具可用于同一目的:

1、jq或jshon,shell的JSON解析器,它们都非常有用。

2、Shell脚本(如JSON.sh或jsonv.sh)用于解析bash,zsh或dash shell中的JSON。

3、JSON.awk,JSON解析器awk脚本。

4、像json.tool这样的Python模块。

5、underscore-cli,Node.js和基于javascript的。

本文只关注jq,它是具有高级过滤和脚本功能的shell的非常强大的JSON解析器,请先参考Linux中的Json格式化神器jq下载与安装一文。

 

JSON pretty printing

示例:来自jsonip.com的数据,以获取JSON格式的外部IP地址,使用如下所示的curl或wget工具:

$ wget -cq http://jsonip.com/ -O -

实际数据如下所示:

{"ip":"111.222.333.444","about":"/about","Pro!":"http://getjsonip.com"}

现在用jq打印它:

$ wget -cq http://jsonip.com/ -O - | jq '.'

在使用jq过滤结果后,应该是如下的信息:

{

"ip": "111.222.333.444",

"about": "/about",

"Pro!": "http://getjsonip.com"

}

使用python json.tool模块可以完成同样的事情,这是一个例子:

$ cat anything.json | python -m json.tool

这种基于Python的解决方案对于大多数用户来说应该没问题,但是如果没有预安装或无法安装Python,就像在嵌入式系统上一样。

然而,json.tool python模块具有明显的优势,它是跨平台的,因此,可以在Windows、Linux或Mac OS上使用它。

 

使用jq解析JSON的方法

1、安装jq

首先,需要安装jq,它已被大多数GNU/Linux发行版选中,并使用各自的软件包安装程序命令进行安装。

在Arch Linux上:

$ sudo pacman -S jq

在Debian,Ubuntu,Linux Mint上:

$ sudo apt-get install jq

在Fedora上:

$ sudo dnf install jq

在openSUSE上:

$ sudo zypper install jq

2、jq的基本过滤器和标识符

jq可以从stdin或文件中读取JSON数据,你必须根据情况使用两者。

single的象征,是最基本的过滤器,这些过滤器也称为对象标识符索引,使用single,基本上和jq一起pretty prints输入JSON文件。

单引号 - 不必始终使用单引号,但是如果你在一行中组合几个过滤器,那么你必须使用它们。

双引号 - 你必须在两个双引号中包含任何特殊字符,如@,#,$,例如jq .foo.”@bar”。

原始数据打印 - 出于其它原因,如果你只需要最终解析数据(不包含在双引号内),请将-r选项与jq命令一起使用,如– jq -r .foo.bar。

3、解析特定数据

要过滤掉JSON的特定部分,需要查看pretty printed JSON文件的数据层次结构。

JSON数据示例:

{

"firstName": "John",

"lastName": "Smith",

"age": 25,

"address": {

"streetAddress": "21 2nd Street",

"city": "New York",

"state": "NY",

"postalCode": "10021"

},

"phoneNumber": [

{

"type": "home",

"number": "212 555-1234"

},

{

"type": "fax",

"number": "646 555-4567"

}

],

"gender": {

"type": "male"

}

}

我将在本文中将此JSON数据用作示例,将其另存为sample.json。

假设我想从sample.json文件中过滤掉地址,所以命令应该是这样的:

$ jq .address sample.json

样本输出如下:

{

"streetAddress": "21 2nd Street",

"city": "New York",

"state": "NY",

"postalCode": "10021"

}

再说一遍,我想要邮政编码,然后我要添加另一个对象标识符索引,即另一个过滤器:

$ cat sample.json | jq .address.postalCode

另请注意,过滤器区分大小写,必须使用完全相同的字符串来获取有意义的输出而不是null。

4、从JSON数组解析元素

JSON数组的元素包含在方括号内,无疑是非常通用的。

要解析数组中的元素,必须使用[]标识符以及其他对象标识符索引。

在此示例JSON数据中,电话号码存储在数组中,要从此数组中获取所有内容,只需使用括号,如示例:

$ jq .phoneNumber[] sample.json

假设你只想要数组的第一个元素,然后使用从0开始的数组对象编号,对于第一个项目,使用[0],对于下一个项目,它应该每步增加一个:

$ jq .phoneNumber[0] sample.json

5、脚本示例

假设我只想要home的数字,而不是整个JSON数组数据:

$ cat sample.json | jq -r '.phoneNumber[] | select(.type == "home") | .number'

首先,我将一个文件管理器的结果传递给另一个,然后使用select属性选择特定类型的数据,再次将结果传递给另一个过滤器。

 

相关主题

在CentOS 7/Ubuntu 16.04/Debian 9/macOS上安装Python 3.6的方法

Linux命令子频道
精选文章
热门文章