Answers:
这实际上只是Yuzem答案的一种解释,但我不认为应该对其他人进行过多的编辑,并且注释不允许格式化,因此...
rdom () { local IFS=\> ; read -d \< E C ;}
让我们将其称为“ read_dom”而不是“ rdom”,将其间隔一些并使用更长的变量:
read_dom () {
local IFS=\>
read -d \< ENTITY CONTENT
}
好的,因此它定义了一个名为read_dom的函数。第一行使IFS(输入字段分隔符)成为此函数的局部变量,并将其更改为>。这意味着当您读取数据而不是自动在空格,制表符或换行符上拆分时,它会在'>'上拆分。下一行说要从stdin读取输入,而不是在换行符处停止,而是在看到'<'字符(分隔符标志的-d)时停止。然后使用IFS对读取的内容进行拆分,并将其分配给变量ENTITY和CONTENT。因此,请采取以下措施:
<tag>value</tag>
第一次调用以read_dom
获取空字符串(因为“ <”是第一个字符)。由于没有'>'字符,因此IFS将其拆分为''。Read然后为两个变量分配一个空字符串。第二个调用获取字符串“ tag> value”。然后,IFS将其分为“标签”和“值”两个字段。Read然后将变量分配为:ENTITY=tag
和CONTENT=value
。第三次调用得到字符串“ / tag>”。IFS将其分为两个字段'/ tag'和''。Read然后将变量分配为:ENTITY=/tag
和CONTENT=
。第四次调用将返回非零状态,因为我们已经到达文件末尾。
现在他的while循环清理了一点以匹配上面的内容:
while read_dom; do
if [[ $ENTITY = "title" ]]; then
echo $CONTENT
exit
fi
done < xhtmlfile.xhtml > titleOfXHTMLPage.txt
第一行只是说:“当read_dom函数返回零状态时,请执行以下操作。” 第二行检查我们刚刚看到的实体是否为“标题”。下一行回显标签的内容。四行出口。如果不是标题实体,则循环在第六行重复。我们将“ xhtmlfile.xhtml”重定向到标准输入(针对该read_dom
函数),并将标准输出重定向到“ titleOfXHTMLPage.txt”(来自循环前面的回显)。
现在给出以下内容(类似于您在S3上列出存储区所获得的内容)input.xml
:
<ListBucketResult xmlns="http://s3.amazonaws.com/doc/2006-03-01/">
<Name>sth-items</Name>
<IsTruncated>false</IsTruncated>
<Contents>
<Key>item-apple-iso@2x.png</Key>
<LastModified>2011-07-25T22:23:04.000Z</LastModified>
<ETag>"0032a28286680abee71aed5d059c6a09"</ETag>
<Size>1785</Size>
<StorageClass>STANDARD</StorageClass>
</Contents>
</ListBucketResult>
和以下循环:
while read_dom; do
echo "$ENTITY => $CONTENT"
done < input.xml
您应该得到:
=>
ListBucketResult xmlns="http://s3.amazonaws.com/doc/2006-03-01/" =>
Name => sth-items
/Name =>
IsTruncated => false
/IsTruncated =>
Contents =>
Key => item-apple-iso@2x.png
/Key =>
LastModified => 2011-07-25T22:23:04.000Z
/LastModified =>
ETag => "0032a28286680abee71aed5d059c6a09"
/ETag =>
Size => 1785
/Size =>
StorageClass => STANDARD
/StorageClass =>
/Contents =>
因此,如果我们编写while
类似于Yuzem的循环:
while read_dom; do
if [[ $ENTITY = "Key" ]] ; then
echo $CONTENT
fi
done < input.xml
我们将获得S3存储桶中所有文件的清单。
编辑
如果由于某种原因local IFS=\>
对您不起作用,并且您对其进行了全局设置,则应在函数末尾将其重置,例如:
read_dom () {
ORIGINAL_IFS=$IFS
IFS=\>
read -d \< ENTITY CONTENT
IFS=$ORIGINAL_IFS
}
否则,您稍后在脚本中进行的任何行拆分都将被弄乱。
编辑2
要拆分属性名称/值对,您可以read_dom()
像这样增加:
read_dom () {
local IFS=\>
read -d \< ENTITY CONTENT
local ret=$?
TAG_NAME=${ENTITY%% *}
ATTRIBUTES=${ENTITY#* }
return $ret
}
然后编写您的函数来解析并获取所需的数据,如下所示:
parse_dom () {
if [[ $TAG_NAME = "foo" ]] ; then
eval local $ATTRIBUTES
echo "foo size is: $size"
elif [[ $TAG_NAME = "bar" ]] ; then
eval local $ATTRIBUTES
echo "bar type is: $type"
fi
}
然后,当您read_dom
致电parse_dom
:
while read_dom; do
parse_dom
done
然后给出以下示例标记:
<example>
<bar size="bar_size" type="metal">bars content</bar>
<foo size="1789" type="unknown">foos content</foo>
</example>
您应该获得以下输出:
$ cat example.xml | ./bash_xml.sh
bar type is: metal
foo size is: 1789
EDIT 3另一个用户说他们在FreeBSD中有问题,并建议保存读取的退出状态,并在read_dom的末尾返回它,例如:
read_dom () {
local IFS=\>
read -d \< ENTITY CONTENT
local RET=$?
TAG_NAME=${ENTITY%% *}
ATTRIBUTES=${ENTITY#* }
return $RET
}
我看不出有什么理由不起作用
IFS=\< read ...
,它将仅为读取调用设置IFS。(请注意,我绝不赞成使用read
解析xml 的做法,我认为这样做充满了危险,应该避免。)
您只需使用bash即可非常轻松地做到这一点。您只需要添加以下功能:
rdom () { local IFS=\> ; read -d \< E C ;}
现在,您可以将rdom用作read,但用于html文档。调用rdom时,会将元素分配给变量E,将内容分配给varC。
例如,要做您想做的事情:
while rdom; do
if [[ $E = title ]]; then
echo $C
exit
fi
done < xhtmlfile.xhtml > titleOfXHTMLPage.txt
可以从shell脚本调用的命令行工具包括:
我还将xmllint和xsltproc与少量XSL转换脚本一起使用,以从命令行或在Shell脚本中进行XML处理。
您可以使用xpath实用程序。它与Perl XML-XPath软件包一起安装。
用法:
/usr/bin/xpath [filename] query
要么 XMLStarlet。要将其安装在opensuse上,请使用:
sudo zypper install xmlstarlet
或cnf xml
在其他平台上尝试。
xpath
预先安装的不适用于脚本中的组件。有关详细说明,请参见例如stackoverflow.com/questions/15461737/…。
apt-get install xmlstarlet
够了...
xpath xhtmlfile.xhtml '/html/head/title/text()' > titleOfXHTMLPage.txt
apt-get install libxml-xpath-perl
。
从http://www.ofb.net/~egnor/xml2/中检出XML2,它将XML转换为行格式。
从乍得的答案开始,这是用于解析UML的COMPLETE工作解决方案,具有对注释的适当处理,仅具有2个小功能(超过2个bu,您可以将它们全部混合使用)。我并不是说乍得的那个根本不起作用,但是它与格式错误的XML文件存在太多问题:因此,您必须更加棘手才能处理注释和错位的空格/ CR / TAB / etc。
这个答案的目的是为需要解析UML的任何人提供现成的2种即用型bash函数,而无需使用perl,python或其他任何复杂工具来解析UML。对于我来说,我无法为正在使用的旧生产操作系统安装cpan或perl模块,并且python不可用。
首先,本文中使用的UML单词的定义:
<!-- comment... -->
<tag attribute="value">content...</tag>
编辑:更新的功能,与处理:
xml_read_dom() {
# /programming/893585/how-to-parse-xml-in-bash
local ENTITY IFS=\>
if $ITSACOMMENT; then
read -d \< COMMENTS
COMMENTS="$(rtrim "${COMMENTS}")"
return 0
else
read -d \< ENTITY CONTENT
CR=$?
[ "x${ENTITY:0:1}x" == "x/x" ] && return 0
TAG_NAME=${ENTITY%%[[:space:]]*}
[ "x${TAG_NAME}x" == "x?xmlx" ] && TAG_NAME=xml
TAG_NAME=${TAG_NAME%%:*}
ATTRIBUTES=${ENTITY#*[[:space:]]}
ATTRIBUTES="${ATTRIBUTES//xmi:/}"
ATTRIBUTES="${ATTRIBUTES//xmlns:/}"
fi
# when comments sticks to !-- :
[ "x${TAG_NAME:0:3}x" == "x!--x" ] && COMMENTS="${TAG_NAME:3} ${ATTRIBUTES}" && ITSACOMMENT=true && return 0
# http://tldp.org/LDP/abs/html/string-manipulation.html
# INFO: oh wait it doesn't work on IBM AIX bash 3.2.16(1):
# [ "x${ATTRIBUTES:(-1):1}x" == "x/x" -o "x${ATTRIBUTES:(-1):1}x" == "x?x" ] && ATTRIBUTES="${ATTRIBUTES:0:(-1)}"
[ "x${ATTRIBUTES:${#ATTRIBUTES} -1:1}x" == "x/x" -o "x${ATTRIBUTES:${#ATTRIBUTES} -1:1}x" == "x?x" ] && ATTRIBUTES="${ATTRIBUTES:0:${#ATTRIBUTES} -1}"
return $CR
}
第二个:
xml_read() {
# /programming/893585/how-to-parse-xml-in-bash
ITSACOMMENT=false
local MULTIPLE_ATTR LIGHT FORCE_PRINT XAPPLY XCOMMAND XATTRIBUTE GETCONTENT fileXml tag attributes attribute tag2print TAGPRINTED attribute2print XAPPLIED_COLOR PROSTPROCESS USAGE
local TMP LOG LOGG
LIGHT=false
FORCE_PRINT=false
XAPPLY=false
MULTIPLE_ATTR=false
XAPPLIED_COLOR=g
TAGPRINTED=false
GETCONTENT=false
PROSTPROCESS=cat
Debug=${Debug:-false}
TMP=/tmp/xml_read.$RANDOM
USAGE="${C}${FUNCNAME}${c} [-cdlp] [-x command <-a attribute>] <file.xml> [tag | \"any\"] [attributes .. | \"content\"]
${nn[2]} -c = NOCOLOR${END}
${nn[2]} -d = Debug${END}
${nn[2]} -l = LIGHT (no \"attribute=\" printed)${END}
${nn[2]} -p = FORCE PRINT (when no attributes given)${END}
${nn[2]} -x = apply a command on an attribute and print the result instead of the former value, in green color${END}
${nn[1]} (no attribute given will load their values into your shell; use '-p' to print them as well)${END}"
! (($#)) && echo2 "$USAGE" && return 99
(( $# < 2 )) && ERROR nbaram 2 0 && return 99
# getopts:
while getopts :cdlpx:a: _OPT 2>/dev/null
do
{
case ${_OPT} in
c) PROSTPROCESS="${DECOLORIZE}" ;;
d) local Debug=true ;;
l) LIGHT=true; XAPPLIED_COLOR=END ;;
p) FORCE_PRINT=true ;;
x) XAPPLY=true; XCOMMAND="${OPTARG}" ;;
a) XATTRIBUTE="${OPTARG}" ;;
*) _NOARGS="${_NOARGS}${_NOARGS+, }-${OPTARG}" ;;
esac
}
done
shift $((OPTIND - 1))
unset _OPT OPTARG OPTIND
[ "X${_NOARGS}" != "X" ] && ERROR param "${_NOARGS}" 0
fileXml=$1
tag=$2
(( $# > 2 )) && shift 2 && attributes=$*
(( $# > 1 )) && MULTIPLE_ATTR=true
[ -d "${fileXml}" -o ! -s "${fileXml}" ] && ERROR empty "${fileXml}" 0 && return 1
$XAPPLY && $MULTIPLE_ATTR && [ -z "${XATTRIBUTE}" ] && ERROR param "-x command " 0 && return 2
# nb attributes == 1 because $MULTIPLE_ATTR is false
[ "${attributes}" == "content" ] && GETCONTENT=true
while xml_read_dom; do
# (( CR != 0 )) && break
(( PIPESTATUS[1] != 0 )) && break
if $ITSACOMMENT; then
# oh wait it doesn't work on IBM AIX bash 3.2.16(1):
# if [ "x${COMMENTS:(-2):2}x" == "x--x" ]; then COMMENTS="${COMMENTS:0:(-2)}" && ITSACOMMENT=false
# elif [ "x${COMMENTS:(-3):3}x" == "x-->x" ]; then COMMENTS="${COMMENTS:0:(-3)}" && ITSACOMMENT=false
if [ "x${COMMENTS:${#COMMENTS} - 2:2}x" == "x--x" ]; then COMMENTS="${COMMENTS:0:${#COMMENTS} - 2}" && ITSACOMMENT=false
elif [ "x${COMMENTS:${#COMMENTS} - 3:3}x" == "x-->x" ]; then COMMENTS="${COMMENTS:0:${#COMMENTS} - 3}" && ITSACOMMENT=false
fi
$Debug && echo2 "${N}${COMMENTS}${END}"
elif test "${TAG_NAME}"; then
if [ "x${TAG_NAME}x" == "x${tag}x" -o "x${tag}x" == "xanyx" ]; then
if $GETCONTENT; then
CONTENT="$(trim "${CONTENT}")"
test ${CONTENT} && echo "${CONTENT}"
else
# eval local $ATTRIBUTES => eval test "\"\$${attribute}\"" will be true for matching attributes
eval local $ATTRIBUTES
$Debug && (echo2 "${m}${TAG_NAME}: ${M}$ATTRIBUTES${END}"; test ${CONTENT} && echo2 "${m}CONTENT=${M}$CONTENT${END}")
if test "${attributes}"; then
if $MULTIPLE_ATTR; then
# we don't print "tag: attr=x ..." for a tag passed as argument: it's usefull only for "any" tags so then we print the matching tags found
! $LIGHT && [ "x${tag}x" == "xanyx" ] && tag2print="${g6}${TAG_NAME}: "
for attribute in ${attributes}; do
! $LIGHT && attribute2print="${g10}${attribute}${g6}=${g14}"
if eval test "\"\$${attribute}\""; then
test "${tag2print}" && ${print} "${tag2print}"
TAGPRINTED=true; unset tag2print
if [ "$XAPPLY" == "true" -a "${attribute}" == "${XATTRIBUTE}" ]; then
eval ${print} "%s%s\ " "\${attribute2print}" "\${${XAPPLIED_COLOR}}\"\$(\$XCOMMAND \$${attribute})\"\${END}" && eval unset ${attribute}
else
eval ${print} "%s%s\ " "\${attribute2print}" "\"\$${attribute}\"" && eval unset ${attribute}
fi
fi
done
# this trick prints a CR only if attributes have been printed durint the loop:
$TAGPRINTED && ${print} "\n" && TAGPRINTED=false
else
if eval test "\"\$${attributes}\""; then
if $XAPPLY; then
eval echo "\${g}\$(\$XCOMMAND \$${attributes})" && eval unset ${attributes}
else
eval echo "\$${attributes}" && eval unset ${attributes}
fi
fi
fi
else
echo eval $ATTRIBUTES >>$TMP
fi
fi
fi
fi
unset CR TAG_NAME ATTRIBUTES CONTENT COMMENTS
done < "${fileXml}" | ${PROSTPROCESS}
# http://mywiki.wooledge.org/BashFAQ/024
# INFO: I set variables in a "while loop" that's in a pipeline. Why do they disappear? workaround:
if [ -s "$TMP" ]; then
$FORCE_PRINT && ! $LIGHT && cat $TMP
# $FORCE_PRINT && $LIGHT && perl -pe 's/[[:space:]].*?=/ /g' $TMP
$FORCE_PRINT && $LIGHT && sed -r 's/[^\"]*([\"][^\"]*[\"][,]?)[^\"]*/\1 /g' $TMP
. $TMP
rm -f $TMP
fi
unset ITSACOMMENT
}
最后,rtrim,trim和echo2(对stderr)起作用:
rtrim() {
local var=$@
var="${var%"${var##*[![:space:]]}"}" # remove trailing whitespace characters
echo -n "$var"
}
trim() {
local var=$@
var="${var#"${var%%[![:space:]]*}"}" # remove leading whitespace characters
var="${var%"${var##*[![:space:]]}"}" # remove trailing whitespace characters
echo -n "$var"
}
echo2() { echo -e "$@" 1>&2; }
哦,您首先需要定义一些简洁的着色动态变量,然后将其导出:
set -a
TERM=xterm-256color
case ${UNAME} in
AIX|SunOS)
M=$(${print} '\033[1;35m')
m=$(${print} '\033[0;35m')
END=$(${print} '\033[0m')
;;
*)
m=$(tput setaf 5)
M=$(tput setaf 13)
# END=$(tput sgr0) # issue on Linux: it can produces ^[(B instead of ^[[0m, more likely when using screenrc
END=$(${print} '\033[0m')
;;
esac
# 24 shades of grey:
for i in $(seq 0 23); do eval g$i="$(${print} \"\\033\[38\;5\;$((232 + i))m\")" ; done
# another way of having an array of 5 shades of grey:
declare -a colorNums=(238 240 243 248 254)
for num in 0 1 2 3 4; do nn[$num]=$(${print} "\033[38;5;${colorNums[$num]}m"); NN[$num]=$(${print} "\033[48;5;${colorNums[$num]}m"); done
# piped decolorization:
DECOLORIZE='eval sed "s,${END}\[[0-9;]*[m|K],,g"'
您知道如何创建函数并通过FPATH(ksh)或FPATH仿真(bash)加载它们
如果没有,只需在命令行上复制/粘贴所有内容。
xml_read [-cdlp] [-x command <-a attribute>] <file.xml> [tag | "any"] [attributes .. | "content"]
-c = NOCOLOR
-d = Debug
-l = LIGHT (no \"attribute=\" printed)
-p = FORCE PRINT (when no attributes given)
-x = apply a command on an attribute and print the result instead of the former value, in green color
(no attribute given will load their values into your shell as $ATTRIBUTE=value; use '-p' to print them as well)
xml_read server.xml title content # print content between <title></title>
xml_read server.xml Connector port # print all port values from Connector tags
xml_read server.xml any port # print all port values from any tags
使用调试模式(-d)时,注释和已解析的属性将打印到stderr
./read_xml.sh: line 22: (-1): substring expression < 0
?
[ "x${ATTRIBUTES:(-1):1}x" == "x?x" ] ...
另一个命令行工具是我的新Xidel。与已经提到的xpath / xmlstarlet相反,它还支持XPath 2和XQuery。
标题可以读为:
xidel xhtmlfile.xhtml -e /html/head/title > titleOfXHTMLPage.txt
它还具有将多个变量导出到bash的出色功能。例如
eval $(xidel xhtmlfile.xhtml -e 'title := //title, imgcount := count(//img)' --output-format bash )
设置$title
标题和$imgcount
文件中的图像数量,其灵活性应与直接在bash中解析一样灵活。
在对XML文件中Linux和Windows格式的文件路径之间的转换进行了一些研究之后,我发现了以下有趣的教程和解决方案:
尽管有许多现成的控制台实用程序可以满足您的要求,但是用通用编程语言(如Python)编写几行代码可能会花费更少的时间,您可以轻松地扩展并适应这些代码您的需求。
这是一个使用 lxml
用于解析 -它以文件名或URL作为第一个参数,以XPath表达式作为第二个参数,并输出与给定表达式匹配的字符串/节点。
#!/usr/bin/env python
import sys
from lxml import etree
tree = etree.parse(sys.argv[1])
xpath_expression = sys.argv[2]
# a hack allowing to access the
# default namespace (if defined) via the 'p:' prefix
# E.g. given a default namespaces such as 'xmlns="http://maven.apache.org/POM/4.0.0"'
# an XPath of '//p:module' will return all the 'module' nodes
ns = tree.getroot().nsmap
if ns.keys() and None in ns:
ns['p'] = ns.pop(None)
# end of hack
for e in tree.xpath(xpath_expression, namespaces=ns):
if isinstance(e, str):
print(e)
else:
print(e.text and e.text.strip() or etree.tostring(e, pretty_print=True))
lxml
可以安装pip install lxml
。在ubuntu上,您可以使用sudo apt install python-lxml
。
python xpath.py myfile.xml "//mynode"
lxml
还接受URL作为输入:
python xpath.py http://www.feedforall.com/sample.xml "//link"
注意:如果您的XML具有没有前缀的默认名称空间(例如
xmlns=http://abc...
),则您必须p
在表达式中使用前缀(由“ hack”提供),例如//p:module
从pom.xml
文件中获取模块。如果p
前缀已在XML中映射,则您需要修改脚本以使用另一个前缀。
一次性脚本,其狭窄目的是从apache maven文件中提取模块名称。请注意,节点名称(module
)如何以默认名称空间作为前缀{http://maven.apache.org/POM/4.0.0}
:
pom.xml:
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modules>
<module>cherries</module>
<module>bananas</module>
<module>pears</module>
</modules>
</project>
module_extractor.py:
from lxml import etree
for _, e in etree.iterparse(open("pom.xml"), tag="{http://maven.apache.org/POM/4.0.0}module"):
print(e.text)
pip install
结束apt-get
或yum
调用是合理的。谢谢!
虽然似乎“没有适当的工具就从不分析bash的XML,JSON ...”似乎是合理的建议,但我不同意。如果这是一项副业,那么寻找合适的工具,然后学习它就不知所措了……Awk可以在几分钟内完成。我的程序必须处理所有上述数据和更多类型的数据。地狱,如果我可以在几分钟内解决问题,我不想测试30种工具来解析5-7-10种我需要的不同格式。我不在乎XML,JSON或其他任何东西!我需要针对所有这些的单一解决方案。
例如:我的SmartHome程序运行我们的房屋。在执行此操作时,它将以我无法控制的太多不同格式读取大量数据。我从不使用专用的,适当的工具,因为我不想花费超过几分钟来读取所需的数据。通过FS和RS调整,此awk解决方案可完美适用于任何文本格式。但是,当您的主要任务是主要处理该格式的数据负载时,这可能不是正确的答案!
我昨天遇到的从bash解析XML的问题。这是我对任何分层数据格式执行的操作。另外,我将数据直接分配给bash脚本中的变量。
为了使薄片更易于阅读,我将分阶段介绍解决方案。根据OP测试数据,我创建了一个文件:test.xml
用bash解析XML,并提取90个字符的数据:
awk 'BEGIN { FS="<|>"; RS="\n" }; /host|username|password|dbname/ { print $2, $4 }' test.xml
我通常使用可读性更高的版本,因为在现实生活中修改起来更容易,因为我经常需要进行不同的测试:
awk 'BEGIN { FS="<|>"; RS="\n" }; { if ($0 ~ /host|username|password|dbname/) print $2,$4}' test.xml
我不在乎该格式如何调用。我只寻求最简单的解决方案。在这种特殊情况下,我可以从数据中看到换行符是记录分隔符(RS)和<>分隔字段(FS)。在我的原始情况下,我对两个记录中的6个值进行了复杂的索引编制,将它们相关联,查找何时存在数据以及字段(记录)是否存在。awk花费了4行才能完美地解决该问题。因此,在使用它之前,请先将其适应每个需求!
第二部分只是看它是否在行中有想要的字符串(RS),如果是,则打印出所需的字段(FS)。上面的代码花了我大约30秒钟的时间来复制和改编我使用这种方法的上一个命令(时间长4倍)。就是这样!完成90个字符。
但是,我始终需要将数据整齐地放入脚本中的变量中。我首先像这样测试结构:
awk 'BEGIN { FS="<|>"; RS="\n" }; { if ($0 ~ /host|username|password|dbname/) print $2"=\""$4"\"" }' test.xml
在某些情况下,我使用printf而不是print。当我看到一切看起来不错时,我只需完成为变量分配值。我知道许多人认为“ eval”是“ evil”,无需评论:) Trick多年来在我的所有四个网络上都能正常工作。但是,如果您不明白为什么这可能是不好的做法,请继续学习!包括bash变量分配和足够的间距,我的解决方案需要120个字符才能完成所有工作。
eval $( awk 'BEGIN { FS="<|>"; RS="\n" }; { if ($0 ~ /host|username|password|dbname/) print $2"=\""$4"\"" }' test.xml ); echo "host: $host, username: $username, password: $password dbname: $dbname"