如何证明一种语言不是正常语言？

我们了解了常规语言。它的特征在于正则表达式，有限自动机和左线性语法中的任何一种，因此很容易证明给定语言是正则的。$\mathrm{REG}$

但是，如何显示相反的内容？我的助教坚持要做到这一点，我们必须为所有正则表达式（或所有有限自动机，或所有左线性语法）表明它们无法描述当前的语言。这似乎是一项艰巨的任务！

我读过一些抽奖式引理，但看起来确实很复杂。

^{这旨在成为收集常规证明方法和应用示例的参考问题。有关上下文无关语言的相同问题，请参见此处。}

矛盾证明通常用于表明一种语言不是常规语言：让为所有常规语言提供true的属性，如果您的特定语言未验证，则它不是常规语言。可以使用以下属性：$P$$P$

1. 正如戴夫（Dave）的回答所证明的那样：
2. 封闭性质常规语言的（设置操作，串联，Kleene星，镜像，同态）；
3. 常规语言具有数量有限的前缀对等类Myhill-Nerode定理。

为了使用闭包属性证明语言不是规则语言，该技术是通过保留规则性的操作将与规则语言结合起来，以获得已知的非规则语言，例如原型语言。例如，让。假设是正规的，因为正规语言在补码下是封闭的，所以的补码。现在采取的交集和这是规律的，我们得到这是不正规。L I = { a n b n | Ñ ∈ Ñ } 大号= { 一个p b q | p ≠ q } 大号大号大号Ç 大号Ç 一个⋆ b ⋆$L$$L$$I= \{ a^n b^n | n \in \mathbb{N} \}$$L= \{a^p b^q | p \neq q \}$$L$$L$$L^c$$L^c$$a^\star b^\star$$I$

Myhill-Nerode定理可以用来证明不是正规的。对于，。所有类都是不同的，并且此类的数量无穷。由于常规语言必须具有有限数量的类，不是常规的。p ≥ 0 我/ 一个p = { 一- [R b [R b p | ř ∈ Ñ } = 我。{ b p } $I$$p \geq 0$$I/a^p= \{ a^{r}b^rb^p| r \in \mathbb{N} \}=I.\{b^p\}$$I$

根据Dave的回答，这是使用抽水引理的分步“手册”。

回忆抽水的引理（取自戴维的答案，摘自维基百科）：

令$L$为常规语言。然后存在一个整数$n\ge 1$（仅取决于$L$使得）每串$w$在$L$长度至少的$n$（$n$被称为“泵送长度”）可被写为$w = xyz$（即，$w$罐分为三个子字符串），满足以下条件：

1. $|y| \ge 1$
2. $|xy| \le n$和
3. 一个“抽” $w$仍然在$L$：对于所有$i \ge 0$，$xy^iz \in L$。

假设您被赋予某种语言$L$并且您想通过抽水引理证明它不是正常的。证明如下所示：

1. 假设$L$ 是规则的。
2. 如果它是规则的，则抽引引理说存在一个数$n$，即泵送长度。
3. 选择一个特定的字$w\in L$长度大于的$n$。困难的部分是知道要选哪个词。
4. 考虑所有分区的方式$w$成3个部分，$w=xyz$，用$|xy|\le n$和$y$非空。对于每一个的这些方式，表明它不能被泵送：总是存在一些$i\ge 0$，使得$xy^iz \notin L$。
5. 结论：$w$不能与抽运引理矛盾地“抽出”（无论我们如何将其分解为$xyz$），即我们的假设（步骤1）是错误的：$L$不规则。

在进行示例之前，让我重申步骤3和步骤4（这是大多数人出错的地方）。在步骤3中，您需要选择$L$一个特定单词。明确写下来，例如“ 00001111”或“ $a^nb^n$ ”。非特定单词的示例：“ $w$ ”或“前缀为000的单词”。

另一方面，在步骤4中，您需要考虑多个情况。例如，如果$w=000111$，仅说$x=00, y=01, z=00$并不足以成立矛盾。您还必须检查$x=0, y=0, z=0111$和$x=\epsilon, y=000, z=111$，以及所有其他可能的选项。

现在让我们按照步骤操作，证明$L= \{ 0^k1^{2k} \mid k>0 \}$是不规则的。

1. 假设$L$是规则的。
2. 令$n$为由抽运引理给出的抽运长度。
3. 令$w = 0^n 1^{2n}$。
   （根据需要进行合理性检查：$|w|\gt n$。为什么要使用这个词？换句话说，其他词也可以工作..需要一些经验才能得出正确的$w$）。再次注意，$w$是一个特定的词：$\underbrace{000\ldots0}_{n \text{ times}}\underbrace{111\ldots1}_{2n \text{ times}}$。
4. 现在开始考虑用|将$w$分成$xyz$的各种情况$|xy|\le n$和$|y|>0$。由于$|xy|<n$无论我们如何拆分$w$，$x$将只包含0的，因此将$y$。假设$|x|=s$和$|y|=k$。我们需要考虑所有可能的选择，$s,k$使得$s\ge 0, k\ge 1$和$s+k \le n$。FOR THIS$L$所有这些情况的证明是相同的，但在总体上可能会有所不同。
   取$i=0$并考虑$xy^iz = xz$。这个词不在$L$因为它的形式为$0^{n-k}1^{2n}$（无论$s$和 k什么$k$是），并且由于$k \ge 1$，这个字是不是在$L$和我们达到一个矛盾。
5. 因此，我们的假设是错误的，并且$L$不是规则的。

可以在此处找到解释如何沿相同方向使用抽引引理的youtube剪辑

在Wikipedia中，常规语言的抽取语言如下：

令为常规语言。然后存在一个整数p ≥ 1（仅取决于大号），使得每个字符串瓦特在大号长度至少的p（p被称为“泵送长度”）可被写为瓦特= X ý Ž（即，瓦特罐分为三个子字符串），满足以下条件：$L$$p\ge 1$$L$$w$$L$$p$$p$$w = xyz$$w$

1. $|y| \ge 1$
2. 和 $|xy| \le p$
3. 对于所有，X ÿ 我 Ž ∈ 大号。y是可以泵送的子字符串（可删除或重复任意次数，并且结果字符串始终在L中）。 $i \ge 0$$xy^iz \in L$
   $y$$L$

（1）表示要泵送的回路y的长度必须至少为一; （2）表示循环必须在前p个字符内发生。x和z没有限制。

简单地说，对于任何正则语言L，任何足够长的字可以分成3个部分。即瓦特= X ÿ Ž，使得所有的弦X ÿ ķ ž为ķ ≥ 0 ，可以在大号。$w\in L$$w = xyz$$xy^kz$$k\ge 0$$L$

现在让我们考虑一个例子。让。$L=\{(01)^n2^n\mid n\ge0\}$

为了证明这是不规则的，您需要考虑所有分解样子，因此可以给定x，y和z的所有可能事物是x y z = （01 ）p 2 p（我们选择查看长度为3 p的特定单词，其中p是泵浦长度）。我们需要考虑字符串的y部分出现的位置。它可以与所述第一部分重叠，并且将因此等于或者（01 ）ķ + 1，（10 $w=xyz$$xyz=(01)^p2^p$$3p$$p$$y$$(01)^{k+1}$，1（01）ķ或0（10）ķ，对于一些ķ≥0（不要忘记， | ÿ | ≥1）。它可能与第二部分重叠，这意味着对于k>0，y= 2 k。否则它可能会重叠在单词的两个部分上，其形式为（01）k + 1 2 l，（10）$(10)^{k+1}$$1(01)^k$$0(10)^k$$k\ge 0$$|y|\ge 1$$y=2^k$$k>0$$(01)^{k+1} 2^l$。， 1 （01 ）ķ 2 升或 0 （10 ）ķ 2 升，对于 ķ ≥ 0和升≥ $(10)^{k+1} 2^l$$1(01)^k 2^l$$0(10)^k 2^l$$k\ge0$$l\ge1$

现在，让每个人都陷入矛盾，这将是一个不是您所用语言的单词。例如，如果我们取，则抽运引理说，例如，x y 2 z = x 0 （10 ）k 2 l 0 （10 ）k 2 l z必须在语言，适当选择x和z。但是这个词不能用2出现在1之前的语言。$y=0(10)^k2^l$$xy^2z=x0(10)^k2^l0(10)^k2^lz$$x$$z$$2$$1$

其他情况将导致的个数大于2的个数，反之亦然，或者将导致单词不具有（01 ）n 2 n的结构，例如连续两个0。$(01)$$2$$(01)^n2^n$$0$

别忘了。在这里，缩短证明很有用：上面的许多分解都是不可能的，因为它们会使z部分过长。$|xy| \le p$$z$

上面的每种情况都需要导致这样的矛盾，然后这将是泵激引理的矛盾。瞧！语言不是正常的。

对于给定的语言，让$L \subseteq \Sigma^*$

$\qquad \displaystyle S_L(z) = \sum\limits_{n \geq 0} |L \cap \Sigma^n|\cdot z^n$

的（普通）生成函数的$L$，即其每单位长度的字计数的序列。

以下语句为[ FlSe09，p52]：

$\qquad \displaystyle L \in \mathrm{REG} \quad \Longrightarrow \quad S_L \text{ rational}$

即，与P，$S_L(z) = \frac{P(z)}{Q(z)}$$P,Q$多项式。

因此，任何语言，它的生成函数是不理性的是不正规。不幸的是，所有线性语言也都具有理性的生成功能¹，因此该方法不适用于更简单的非常规语言。另一个缺点是很难获得（并且表明它不合理）。$S_L$

示例：考虑正确嵌套括号词的语言，即Dyck语言。它是由明确的语法生成的

$\qquad \displaystyle S \to [S]S \mid \varepsilon$

可以转化为等式

$\qquad \displaystyle S(z) = z^2S^2(z) + 1$

一种解决方案（具有所有正系数的解决方案）是

$\qquad \displaystyle \mathcal{S}(z) = \frac{1 - \sqrt{1 - 4z^2}}{2z^2}$。

由于 [ Kuic70 ]且S不合理，因此Dyck语言不规则。$S_L = \mathcal{S}$$\mathcal{S}$

1. 常规语言语句的证明通过语法起作用，并立即转换为线性语法（乘法的可交换性）。

$\ \ $[FlSe09] P. Flajolet和R. Sedgewick（2009）的分析组合学 [Kuic70] W. Kuich（1970）关于上下文无关语言的熵
$\ \ $

这就是我的答案从这里扩展版本使用泵引理来证明语言是不是经常$L = \{(01)^m 2^m \mid m \ge0\}$，因为这应该是一个参考的问题。

那么，您认为抽奖引理看起来很复杂吗？不用担心 这是一种稍微不同的获取方法，该方法也隐藏在@Romuald的答案中。（测验：在哪里？）

让我们从记住确定性的有限状态自动机（DFA）接受每种常规语言开始。DFA是有限有向图，其中每个顶点对于字母表中的每个字母都具有一个精确的边缘。字符串会基于标记为“开始”的顶点为您提供图形中的遍历，并且DFA会接受该遍历是否以标记为“接受”的顶点结束。（这些顶点称为“状态”，因为不同的数学领域喜欢为同一件事组成自己的术语。）

通过这种思维方式，很容易看到：如果字符串和b将DFA驱动到相同的状态，那么对于任何其他字符串c，a c和b c会将DFA驱动到相同的状态。$a$$b$$c$$ac$$bc$为什么？因为步行的起点和定义步行的字符串完全确定了终点。

稍有不同：如果是规则的，并且字符串a和b将识别自动机驱动到相同状态，则对于所有字符串c，a c和b c都在L中或都不在L中。$L$$a$$b$$c$$ac$$bc$$L$

我们可以用它来证明语言不通过想象它，然后想出经常和b驱动DFA到相同的状态，并Ç使一ç是在语言和b Ç不是。从@Dave的答案中获取示例语言。想象一下它是规则的，因此它可以识别带有m个状态的DFA 。在鸽子洞原理说，至少两个{ （01 ）我：0 ≤ 我≤ 中号+ 1 }发送DFA到相同的状态，比方说一个= （$a$$b$$c$$ac$$bc$$m$$\{(01)^i : 0\le i\le m+1\}$和 b = （01 ）q。由于 p ≠ q，我们看到 a 2 p是该语言，而 b 2 p不是该语言，因此该语言不能是规则的。$a=(01)^p$$b=(01)^q$$p\neq q$$a2^p$$b2^p$

令人高兴的是，该示例实际上是证明语言不规范的模板：

• 寻找家庭字符串与他们每个人都有一个“尾巴”属性牛逼我让一个我牛逼我是在语言和一个我牛逼Ĵ，对我≠ Ĵ不是。$\{a_i :i\in\mathbb{N}\}$$t_i$$a_it_i$$a_it_j$$i\neq j$
• 逐字应用论点。（这是允许的，因为总是有足够来让您调用“鸽子洞原理”。）$a_i$

还有其他技巧，但是这一技巧可以轻松解决大多数作业问题。

编辑：较早的版本对此概念与Pumping Lemma的关系进行了一些讨论。

在这里跟随答案，我将描述证明基于Kolmogorv复杂非规律性的方法。

在“通过Kolmogorov复杂性进行形式语言理论的新方法”中讨论了这种方法。Ming Li和Paul MB Vitanyi（请参阅第3.1节）。

让表示的字符串的Kolmogorov复杂X，即图灵机的最短的编码长度中号，使得中号（ε ）= X（任何常用的定义都行）。然后，可以使用以下引理证明非规律性：$K(x)$$x$$M$$M(\epsilon)=x$

KC-规律：让是规则的语言，那么存在一个常数C ^仅取决于大号，使得对于所有X ＆Element; ＆Sigma; *，如果ÿ是Ñ '吨ħ串（相对于词典式排序）在大号X = { ý ＆Element; ＆Sigma; * | X ÿ ∈ 大号}，然后ķ （Ý ）≤ ø （登录Ñ $L\subseteq \Sigma^*$$c$$L$$x\in\Sigma^*$$y$$n'th$$L_x=\left\{y\in \Sigma^*|xy\in L\right\}$。$K(y)\le O(\log n)+c$

人们可以理解（并且证明）上述引理如下，对于任何，来描述Ñ '吨ħ在串大号X一个需要指定：$x\in\Sigma^*$$n'th$$L_x$

• 接受L的自动机$L$
• 处理前缀x后自动机中的状态$x$
• 指数$n$

由于我们只需要记住处理之后的状态，而不需要记住x本身，因此可以根据L将其隐藏在常数中。索引n需要log n位来描述，我们得到上面的结果（为完整起见，需要添加生成y所需的特定指令，但这只会在最终描述中添加一个常数因子）。$x$$x$$L$$n$$\log n$$y$

这个引理说明如何约束它们的成员的所有字符串的柯尔莫哥洛夫复杂对于一些正规语言大号和X ＆Element; ＆Sigma; *。为了显示非规则性，可以假设L是规则的，并证明边界过于严格（例如，无限组字符串的有限Kolmogrov复杂度）。$L_x$$L$$x\in\Sigma^*$$L$

上面链接的答案包含一个示例，说明如何使用此引理显示是不规则的，本文提供了更多示例。为了完整起见，我们在这里显示如何证明L = { 0 n 1 n | Ñ ≥ 0 }是不规律的。$L=\left\{1^p | \text{p is prime}\right\}$$L=\left\{0^n1^n| n\ge 0\right\}$

鉴于一些，我们用ý X 我的我'吨ħ在字大号X。注意y 0 i 1 = 1 i。使用上述引理，着眼于前缀X的形式的X = 0 我和固定Ñ = 1，我们得到∀ 我≥ 0 ：ķ （Ý 0 我$x\in\left\{0,1\right\}^*$$y_i^x$$i'th$$L_x$$y_1^{0^i}=1^i$$x$$x=0^i$$n=1$。由于 y 0 i 1 = 1 i，这意味着我们可以用一个常数来约束形式为 1 i的所有字符串的Kolmogorov复杂度，这显然是错误的。值得一提的是，我们可以探讨一个 X，如 X = 0 ñ足够大 ň满足 ķ （0 ñ）≥ 日志ñ（我们先从一个高度复杂的前缀）。由于 y x 1 = 1 n，我们得到$\forall i\ge 0 : K(y_1^{0^i})\le c$$y_1^{0^i}=1^i$$1^i$$x$$x=0^n$$n$$K(0^n)\ge \log n$$y_1^x=1^n$，矛盾（假设 n > 2 c）。$K(1^n)<c$$n>2^c$

对于一元语言（超过1个字母的语言），有一个简单的标准。让我们固定字母表，以及用于甲⊆ Ñ，定义 大号（甲）= { σ Ñ：Ñ ∈ 甲} $\{ \sigma \}$$A \subseteq \mathbb{N}$

定理。让。以下是等效的：$A \subseteq \mathbb{N}$

1. 是规则的。$L(A)$

2. 是上下文无关的。$L(A)$

3. 存在，使得对于所有Ñ ≥ Ñ 0，它认为Ñ ∈ 甲 IFF Ñ + 米∈ 甲。（我们说A最终是周期性的。）$n_0,m \geq 1$$n \geq n_0$$n \in A$$n+m \in A$$A$

4. 让。然后0. 一个0 一个1 一2 ...是合理的。$a_i = 1_{i \in A}$$0.a_0a_1a_2\ldots$

5. 生成函数是一个有理函数。$\sum_{i \in A} x^i$

该定理可以通过多种方式证明，例如，使用抽引引理，Myhill-Nerode理论，Parikh定理，一元语言上的DFA结构（在Pollard的ρ算法中，它们看起来像“ ” ），等等。 。这是有用的推论。$\rho$$\rho$

结果。让，并假设大号（一）是有规律的。$A \subseteq \mathbb{N}$$L(A)$

1. 极限存在。（这是渐近密度的甲。）$\rho = \lim_{n\to\infty} \frac{|A \cap \{1,\ldots,n\}|}{n}$$A$

2. 如果则A是有限的。$\rho = 0$$A$

3. 如果然后阿是cofinite（即，¯ 阿是有限的）。$\rho = 1$$A$$\overline{A}$

作为一个例子，该语言不是正则，由于集已消失渐近密度，但是无限的。$L(\{2^n : n \geq 0\})$

常规语言的类别在各种闭合操作下被闭合，例如联合，交集，补码，同态，正则替换，逆同态等等。通过简化为已知为非常规语言，可以用来证明给定语言不是常规语言。

作为一个非常简单的例子，假设我们知道，语言$\{a^nb^n : n \geq 0\}$是没有规律的。然后，我们可以证明语言$\{w \in \{a,b\}^* : \#_a(w) = \#_b(w)\}$（用同样多的所有单词的语言$a$ S和$b$ S）是不是正规如下：

假设$L = \{w \in \{a,b\}^* : \#_a(w) = \#_b(w)\}$是正则的。然后$L \cap a^*b^*$也将是有规律的。但$L \cap a^*b^* = \{a^n b^n : n \geq 0\}$，这是已知不是规则的。

$L' = \{(0+1)^n2(0+1)^n : n \geq 0\}$

$h$$h(0) = 0$$h(1) = 1$$h(2) = \epsilon$$L'$$h(L' \cap 0^*21^*) = \{ 0^n 1^n : n \geq 0 \}$

$L'' = \{0^n10^n : n \geq 0\}$

$k$$k(0) = 0$$k(1) = 0$$k(2) = 1$$L''$$k^{-1}(L'')$$L'$

使用Myhill–Nerode理论。

$L$$x,y$$L$$L$$z$$xz,yz$$L$$L$$\delta(q_0,x) \neq \delta(q_0,y)$

$L$$S$$x,y \in S$$L$$L$

这是应用此标准的简单示例：

$L = \{a^nb^n : n \geq 0\}$

$S = \{ a^n : n \geq 0 \}$$S$$L$$a^i,a^j \in S$$i \ne j$$a^ib^i \in L$$a^ib^j \notin L$

$L$$L$$L$$L$$L$$L$

$L$$x$$y$$xy \in L$

您需要做的就是证明此类集合的数量不是有限的。

$L = {a^nb^n: n ≥ 0}$$x = a^nb$$n ≥ 1$$y$$xy \in L$$y = b^{n-1}$$n$$L$

$x$$x$$\{y: xy \in L\}$