ANTLR:有一个简单的例子吗?


230

我想开始使用ANTLR,但是花了几个小时在antlr.org网站上回顾了这些示例之后,我仍然无法清楚地理解Java语法的语法。

是否有一些简单的示例,例如使用ANTLR实现的四运算计算器,经过解析器定义,一直到Java源代码?


2
最后,我检查了那个精确的示例作为Antlr网站上的教程。
科里·佩托斯基

1
@Cory Petosky:您可以提供链接吗?
Eli

我刚刚在ANTLR上发布了视频教程的第一部分。请参见javadude.com/articles/antlr3xtut希望对您有所帮助!
Scott Stanchfield,2009年

2
我也分享您的搜索。
Paul Draper 2013年

1
ANTLR 4的最佳答案是购买Parr的书“权威ANTLR 4参考”。
james.garriss

Answers:


447

注意:此答案适用于ANTLR3!如果您正在寻找ANTLR4的示例,那么此问答将演示如何使用ANTLR4创建简单的表达式解析器和评估器。


您首先创建一个语法。下面是一个小语法,可用于评估使用4种基本数学运算符构建的表达式:+,-,*和/。您也可以使用括号对表达式进行分组。

请注意,此语法只是一个非常基本的语法:它不处理一元运算符(负号:-1 + 9)或小数,如.99(无前导数字),仅列举两个缺点。这只是您可以自己进行工作的一个示例。

这是语法文件Exp.g的内容:

grammar Exp;

/* This will be the entry point of our parser. */
eval
    :    additionExp
    ;

/* Addition and subtraction have the lowest precedence. */
additionExp
    :    multiplyExp 
         ( '+' multiplyExp 
         | '-' multiplyExp
         )* 
    ;

/* Multiplication and division have a higher precedence. */
multiplyExp
    :    atomExp
         ( '*' atomExp 
         | '/' atomExp
         )* 
    ;

/* An expression atom is the smallest part of an expression: a number. Or 
   when we encounter parenthesis, we're making a recursive call back to the
   rule 'additionExp'. As you can see, an 'atomExp' has the highest precedence. */
atomExp
    :    Number
    |    '(' additionExp ')'
    ;

/* A number: can be an integer value, or a decimal value */
Number
    :    ('0'..'9')+ ('.' ('0'..'9')+)?
    ;

/* We're going to ignore all white space characters */
WS  
    :   (' ' | '\t' | '\r'| '\n') {$channel=HIDDEN;}
    ;

(解析器规则以小写字母开头,而词法分析器规则以大写字母开头)

创建语法后,您需要从中生成一个解析器和词法分析器。下载ANTLR jar,并将其存储在与语法文件相同的目录中。

在shell /命令提示符下执行以下命令:

java -cp antlr-3.2.jar org.antlr.Tool Exp.g

它不会产生任何错误消息,并且现在应该生成文件ExpLexer.javaExpParser.javaExp.tokens

要查看它们是否正常运行,请创建以下测试类:

import org.antlr.runtime.*;

public class ANTLRDemo {
    public static void main(String[] args) throws Exception {
        ANTLRStringStream in = new ANTLRStringStream("12*(5-6)");
        ExpLexer lexer = new ExpLexer(in);
        CommonTokenStream tokens = new CommonTokenStream(lexer);
        ExpParser parser = new ExpParser(tokens);
        parser.eval();
    }
}

并编译:

// *nix/MacOS
javac -cp .:antlr-3.2.jar ANTLRDemo.java

// Windows
javac -cp .;antlr-3.2.jar ANTLRDemo.java

然后运行它:

// *nix/MacOS
java -cp .:antlr-3.2.jar ANTLRDemo

// Windows
java -cp .;antlr-3.2.jar ANTLRDemo

如果一切顺利,则不会在控制台上打印任何内容。这意味着解析器未发现任何错误。当您更改"12*(5-6)""12*(5-6",然后重新编译并运行它,应该有打印的情况如下:

line 0:-1 mismatched input '<EOF>' expecting ')'

好的,现在我们想向语法中添加一些Java代码,以便解析器实际执行一些有用的操作。添加代码可以通过将完成{,并}与里面的一些普通的Java代码你的语法内。

但首先:语法文件中的所有解析器规则应返回原始双精度值。您可以通过returns [double value]在每个规则之后添加:

grammar Exp;

eval returns [double value]
    :    additionExp
    ;

additionExp returns [double value]
    :    multiplyExp 
         ( '+' multiplyExp 
         | '-' multiplyExp
         )* 
    ;

// ...

这几乎不需要解释:每个规则都将返回一个双精度值。现在要与double value代码块内的返回值(不在普通Java代码块内{...})进行“交互” ,您需要在$前面添加一个美元符号value

grammar Exp;

/* This will be the entry point of our parser. */
eval returns [double value]                                                  
    :    additionExp { /* plain code block! */ System.out.println("value equals: "+$value); }
    ;

// ...

这是语法,但现在添加了Java代码:

grammar Exp;

eval returns [double value]
    :    exp=additionExp {$value = $exp.value;}
    ;

additionExp returns [double value]
    :    m1=multiplyExp       {$value =  $m1.value;} 
         ( '+' m2=multiplyExp {$value += $m2.value;} 
         | '-' m2=multiplyExp {$value -= $m2.value;}
         )* 
    ;

multiplyExp returns [double value]
    :    a1=atomExp       {$value =  $a1.value;}
         ( '*' a2=atomExp {$value *= $a2.value;} 
         | '/' a2=atomExp {$value /= $a2.value;}
         )* 
    ;

atomExp returns [double value]
    :    n=Number                {$value = Double.parseDouble($n.text);}
    |    '(' exp=additionExp ')' {$value = $exp.value;}
    ;

Number
    :    ('0'..'9')+ ('.' ('0'..'9')+)?
    ;

WS  
    :   (' ' | '\t' | '\r'| '\n') {$channel=HIDDEN;}
    ;

并且由于我们的eval规则现在返回了double,因此将您的ANTLRDemo.java更改为:

import org.antlr.runtime.*;

public class ANTLRDemo {
    public static void main(String[] args) throws Exception {
        ANTLRStringStream in = new ANTLRStringStream("12*(5-6)");
        ExpLexer lexer = new ExpLexer(in);
        CommonTokenStream tokens = new CommonTokenStream(lexer);
        ExpParser parser = new ExpParser(tokens);
        System.out.println(parser.eval()); // print the value
    }
}

再次(重新)从语法(1)中生成一个新的词法分析器和解析器,编译所有类(2)并运行ANTLRDemo(3):

// *nix/MacOS
java -cp antlr-3.2.jar org.antlr.Tool Exp.g   // 1
javac -cp .:antlr-3.2.jar ANTLRDemo.java      // 2
java -cp .:antlr-3.2.jar ANTLRDemo            // 3

// Windows
java -cp antlr-3.2.jar org.antlr.Tool Exp.g   // 1
javac -cp .;antlr-3.2.jar ANTLRDemo.java      // 2
java -cp .;antlr-3.2.jar ANTLRDemo            // 3

现在您将看到表达式的结果12*(5-6)打印到控制台上!

再次:这是一个非常简短的解释。我鼓励您浏览ANTLR Wiki,阅读一些教程和/或使用我刚刚发布的内容。

祝好运!

编辑:

这篇文章显示了如何扩展上面的示例,以便Map<String, Double>可以提供一个在所提供的表达式中包含变量的a。

为了使此代码与当前版本的Antlr(2014年6月)一起使用,我需要进行一些更改。ANTLRStringStream需要变为ANTLRInputStream,返回值需要从更改parser.eval()parser.eval().value,并且我需要最后删除该WS子句,因为诸如$channellexer的操作不再允许出现属性值。


1
实现在哪里parser.eval()发生?在这里或ANTLR3 Wiki上不清楚!

1
@Jarrod,呃,对不起,我不太了解你。eval是一个解析器规则,返回一个double。因此,有一种eval()方法可以调用an的实例ExpParser,就像我在中演示的那样ANTLRDemo.main(...)。生成词法分析器/解析器后,只需打开文件ExpParser.java,您就会看到有一个eval()返回的方法double
巴特·基尔斯

@Bart我已经研究了一个星期-这是第一个示例,它实际上非常详细和完整,足以首次使用,并且我认为我可以理解。我几乎放弃了。谢谢!
Vineel Shah 2014年

13

Gabriele Tomassetti撰写的ANTLR巨型教程非常有帮助

它具有语法示例,使用不同语言(Java,JavaScript,C#和Python)的访客示例以及许多其他内容。强烈推荐。

编辑:Gabriele Tomassetti在ANTLR上的其他有用文章


很棒的教程!
Manish Patel '18

Antlr现在也将cpp用作目标语言。在cpp上有带示例的教程吗?
vineeshvs

同一个人在C ++中为ANTLR 编写了一个教程tomassetti.me/getting-started-antlr-cpp我猜想您会在这里或大型教程中找到想要的内容
个展

7

对于Antlr 4,Java代码生成过程如下:-

java -cp antlr-4.5.3-complete.jar org.antlr.v4.Tool Exp.g

相应地在类路径中更新您的jar名称。


2

https://github.com/BITPlan/com.bitplan.antlr上,您将找到一个ANTLR Java库,其中包含一些有用的帮助程序类和一些完整的示例。它可以与maven一起使用,并且如果您喜欢eclipse和maven。

https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/main/antlr4/com/bitplan/exp/Exp.g4

是一种简单的表达式语言,可以执行乘法和加法运算。 https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/test/java/com/bitplan/antlr/TestExpParser.java具有相应的单元测试。

https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/main/antlr4/com/bitplan/iri/IRIParser.g4是一个IRI解析器,已分为三个部分:

  1. 解析器语法
  2. 词法语法
  3. 导入的LexBasic语法

https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/test/java/com/bitplan/antlr/TestIRIParser.java 具有单元测试。

我个人认为这是最棘手的部分。看到 http://wiki.bitplan.com/index.php/ANTLR_maven_plugin

https://github.com/BITPlan/com.bitplan.antlr/tree/master/src/main/antlr4/com/bitplan/expr

包含另外三个为早期版本中ANTLR4的性能问题创建的示例。同时,此问题已通过https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/test/java/com/bitplan/antlr/TestIssue994.java显示的测试用例解决。


2

版本4.7.1略有不同:对于导入:

import org.antlr.v4.runtime.*;

对于主要部分-请注意CharStreams:

CharStream in = CharStreams.fromString("12*(5-6)");
ExpLexer lexer = new ExpLexer(in);
CommonTokenStream tokens = new CommonTokenStream(lexer);
ExpParser parser = new ExpParser(tokens);
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.