是否在寻找关于“ tokenizer”，“ parser”和“ lexers”是什么以及它们如何相互关联和使用的明确定义？

我正在寻找“ tokenizer”，“ parser”和“ lexer”分别是什么以及它们如何相互关联的明确定义（例如，解析器是否使用令牌器，反之亦然）？我需要创建一个程序，该程序将通过c / h源文件提取数据声明和定义。

我一直在寻找示例并可以找到一些信息，但是我真的很难掌握语法规则，语法分析树和抽象语法树等基本概念以及它们之间的相互关系。最终，这些概念需要存储在实际程序中，但是1）它们看起来像什么，2）是常见的实现。

我一直在浏览有关Lex和Yacc等主题和程序的Wikipedia，但是从未经历过编译器类（EE主修），我发现很难完全了解正在发生的事情。

令牌生成器通常通过查找空格（制表符，空格，换行）将文本流分成令牌。

一个词法分析器基本上是一个标记器，但它通常在标记上附加额外的上下文-该标记是一个数字，该标记是一个字符串文字，另一个标记是一个等于运算符。

解析器从词法分析器中获取令牌流，并将其转换为代表原始文本表示的（通常）程序的抽象语法树。

最后我检查了一下，关于该主题的最好的书是“编译器：原理，技术和工具”，通常被称为“龙书”。

例：

int x = 1;

词法分析器或令牌生成器会将其拆分为令牌'int'，'x'，'='，'1'，';'。

解析器将使用这些令牌并以某种方式使用它们来理解：

• 我们有一个声明
• 这是一个整数的定义
• 整数称为“ x”
• “ x”应初始化为值1

我想说一个词法分析器和一个标记器基本上是同一件事，它们将文本粉碎成其组成部分（“标记”）。然后，解析器使用语法解释标记。

不过，我不会太拘泥于精确的术语用法-人们经常使用“解析”来描述解释大量文本的任何动作。

（添加到给定的答案）

• 标记生成器将同时删除任何意见，并且只返回令牌的词法分析器。
• 词法分析器将还限定作用域这些令牌（变量/函数）
• 然后解析器将构建代码/程序结构