如何在文本文件中替换$ {}占位符？

我想将“模板”文件的输出通过管道传递到MySQL，该文件具有${dbName}散布的变量。替换这些实例并将输出转储到标准输出的命令行实用程序是什么？

塞德！

给定template.txt：

数字是$ {i}
这个词是$ {word}

我们只需要说：

sed -e "s/\${i}/1/" -e "s/\${word}/dog/" template.txt

感谢Jonathan Leffler的技巧，它可以将多个-e参数传递给同一sed调用。

更新资料

这是yottatsa的一个类似问题的解决方案，它仅替代$ VAR或$ {VAR}之类的变量，并且是一个简短的单行代码

i=32 word=foo envsubst < template.txt

当然，如果i和word在您的环境中，那只是

envsubst < template.txt

在我的Mac上，它看起来像是作为gettext的一部分并从MacGPG2安装的

旧答案

这是对mogsie的解决方案的一个类似问题的改进，我的解决方案不需要escale双引号，mogsie的则是双引号，但他只是一个衬板！

eval "cat <<EOF
$(<template.txt)
EOF
" 2> /dev/null

这两种解决方案的强大之处在于，尽管反斜杠是一个在这里转义字符，但是您不必担心解析存在错误，并且多行就可以了。

使用/bin/sh。创建一个小的shell脚本来设置变量，然后使用shell本身来解析模板。这样（编辑以正确处理换行符）：

文件template.txt：

the number is ${i}
the word is ${word}

文件script.sh：

#!/bin/sh

#Set variables
i=1
word="dog"

#Read in template one line at the time, and replace variables (more
#natural (and efficient) way, thanks to Jonathan Leffler).
while read line
do
    eval echo "$line"
done < "./template.txt"

输出：

#sh script.sh
the number is 1
the word is dog

考虑到最近的兴趣，我又在考虑这个问题，我认为我最初想到的工具是m4用于自动工具的宏处理器。因此，您可以使用以下代码代替我最初指定的变量：

$echo 'I am a DBNAME' | m4 -DDBNAME="database name"

template.txt

Variable 1 value: ${var1}
Variable 2 value: ${var2}

数据文件

#!/usr/bin/env bash
declare var1="value 1"
declare var2="value 2"

解析器

#!/usr/bin/env bash

# args
declare file_data=$1
declare file_input=$2
declare file_output=$3

source $file_data
eval "echo \"$(< $file_input)\"" > $file_output

./parser.sh data.sh template.txt parsed_file.txt

parsed_file.txt

Variable 1 value: value 1
Variable 2 value: value 2

这是一个健壮的Bash函数，尽管使用了它，但eval应该可以安全使用。

${varName}输入文本中的所有变量引用都基于调用Shell的变量进行扩展。

没有其他扩展：名称未包含在中的变量引用{...}（例如$varName），命令替代（$(...)和传统语法`...`），算术替代（$((...))和传统语法$[...]）。

要将a $视为文字，请\-e；例如：\${HOME}

请注意，仅通过stdin接受输入。

例：

$ expandVarsStrict <<<'$HOME is "${HOME}"; `date` and \$(ls)' # only ${HOME} is expanded
$HOME is "/Users/jdoe"; `date` and $(ls)

函数源代码：

expandVarsStrict(){
  local line lineEscaped
  while IFS= read -r line || [[ -n $line ]]; do  # the `||` clause ensures that the last line is read even if it doesn't end with \n
    # Escape ALL chars. that could trigger an expansion..
    IFS= read -r -d '' lineEscaped < <(printf %s "$line" | tr '`([$' '\1\2\3\4')
    # ... then selectively reenable ${ references
    lineEscaped=${lineEscaped//$'\4'{/\${}
    # Finally, escape embedded double quotes to preserve them.
    lineEscaped=${lineEscaped//\"/\\\"}
    eval "printf '%s\n' \"$lineEscaped\"" | tr '\1\2\3\4' '`([$'
  done
}

^{该函数假定没有0x1，0x2，0x3，和0x4控制字符存在于输入，因为那些字符。在内部使用-由于该函数处理text，因此应该是一个安全的假设。}

创建rendertemplate.sh：

#!/usr/bin/env bash

eval "echo \"$(cat $1)\""

和template.tmpl：

Hello, ${WORLD}
Goodbye, ${CHEESE}

渲染模板：

$ export WORLD=Foo
$ CHEESE=Bar ./rendertemplate.sh template.tmpl 
Hello, Foo
Goodbye, Bar

这是我基于以前答案的perl解决方案，它替换了环境变量：

perl -p -e 's/\$\{(\w+)\}/(exists $ENV{$1}?$ENV{$1}:"missing variable $1")/eg' < infile > outfile

如果您愿意使用Perl，那将是我的建议。尽管可能有一些sed和/或AWK专家可能知道如何轻松得多。如果您有一个更复杂的映射，而不仅仅是dbName来进行替换，则可以轻松扩展此映射，但此时您也可以将其放入标准Perl脚本中。

perl -p -e 's/\$\{dbName\}/testdb/s' yourfile | mysql

一个简短的Perl脚本，用于执行稍微复杂一些的操作（处理多个键）：

#!/usr/bin/env perl
my %replace = ( 'dbName' => 'testdb', 'somethingElse' => 'fooBar' );
undef $/;
my $buf = <STDIN>;
$buf =~ s/\$\{$_\}/$replace{$_}/g for keys %replace;
print $buf;

如果将上述脚本命名为replace-script，则可以按以下方式使用它：

replace-script < yourfile | mysql

这是一种使外壳程序为您进行替换的方法，就像在双引号之间键入文件内容一样。

使用带有内容的template.txt示例：

The number is ${i}
The word is ${word}

下一行将使Shell插值template.txt的内容，并将结果写入标准输出。

i='1' word='dog' sh -c 'echo "'"$(cat template.txt)"'"'

说明：

• i并word作为环境变量传递给执行sh。
• sh 执行它传递的字符串的内容。
• 彼此相邻的字符串变成一个字符串，该字符串为：
  • ' echo "'+' $(cat template.txt)“ +' "'
• 由于替换是在之间"，因此“ $(cat template.txt)”成为的输出cat template.txt。
• 因此，执行的命令sh -c变为：
  • echo "The number is ${i}\nThe word is ${word}"，
  • 其中i和word是指定的环境变量。

file.tpl：

The following bash function should only replace ${var1} syntax and ignore 
other shell special chars such as `backticks` or $var2 or "double quotes". 
If I have missed anything - let me know.

script.sh：

template(){
    # usage: template file.tpl
    while read -r line ; do
            line=${line//\"/\\\"}
            line=${line//\`/\\\`}
            line=${line//\$/\\\$}
            line=${line//\\\${/\${}
            eval "echo \"$line\""; 
    done < ${1}
}

var1="*replaced*"
var2="*not replaced*"

template file.tpl > result.txt

我建议使用类似Sigil的东西：https : //github.com/gliderlabs/sigil

它被编译为单个二进制文件，因此在系统上安装非常容易。

然后，您可以像下面这样做一个简单的单线：

cat my-file.conf.template | sigil -p $(env) > my-file.conf

这比eval使用正则表达式或sed

我在想同一件事的同时发现了这个线程。这启发了我这一点（注意反引号）

$ echo $MYTEST
pass!
$ cat FILE
hello $MYTEST world
$ eval echo `cat FILE`
hello pass! world

这里有很多选择，但我想我会把我扔在堆上。它基于perl，仅针对$ {...}格式的变量，将要处理的文件作为参数，并在stdout上输出转换后的文件：

use Env;
Env::import();

while(<>) { $_ =~ s/(\${\w+})/$1/eeg; $text .= $_; }

print "$text";

当然，我并不是一个真正的perl人，因此很容易出现致命的缺陷（尽管对我有用）。

如果您可以控制配置文件格式，则可以使用bash本身来完成。您只需要来源（“。”）配置文件，而不是对其进行子外壳处理。这样可以确保变量是在当前外壳程序的上下文中创建的（并继续存在），而不是子外壳程序（在子外壳程序退出时变量消失）中。

$ cat config.data
    export parm_jdbc=jdbc:db2://box7.co.uk:5000/INSTA
    export parm_user=pax
    export parm_pwd=never_you_mind

$ cat go.bash
    . config.data
    echo "JDBC string is " $parm_jdbc
    echo "Username is    " $parm_user
    echo "Password is    " $parm_pwd

$ bash go.bash
    JDBC string is  jdbc:db2://box7.co.uk:5000/INSTA
    Username is     pax
    Password is     never_you_mind

如果您的配置文件不能是Shell脚本，则可以在执行之前对其进行“编译”（编译取决于您的输入格式）。

$ cat config.data
    parm_jdbc=jdbc:db2://box7.co.uk:5000/INSTA # JDBC URL
    parm_user=pax                              # user name
    parm_pwd=never_you_mind                    # password

$ cat go.bash
    cat config.data
        | sed 's/#.*$//'
        | sed 's/[ \t]*$//'
        | sed 's/^[ \t]*//'
        | grep -v '^$'
        | sed 's/^/export '
        >config.data-compiled
    . config.data-compiled
    echo "JDBC string is " $parm_jdbc
    echo "Username is    " $parm_user
    echo "Password is    " $parm_pwd

$ bash go.bash
    JDBC string is  jdbc:db2://box7.co.uk:5000/INSTA
    Username is     pax
    Password is     never_you_mind

在您的特定情况下，您可以使用类似以下内容的方法：

$ cat config.data
    export p_p1=val1
    export p_p2=val2
$ cat go.bash
    . ./config.data
    echo "select * from dbtable where p1 = '$p_p1' and p2 like '$p_p2%' order by p1"
$ bash go.bash
    select * from dbtable where p1 = 'val1' and p2 like 'val2%' order by p1

然后将go.bash的输出通过管道传输到MySQL和voila中，希望您不会破坏数据库:-)。

使用备份对可能的多个文件进行perl编辑。

  perl -e 's/\$\{([^}]+)\}/defined $ENV{$1} ? $ENV{$1} : ""/eg' \
    -i.orig \
    -p config/test/*