UTF-8是否能够支持将广泛的外语与数百万个新字符结合在一起？

如果发生外星人入侵，我们被迫在我们所有现有的计算机系统中支持他们的语言，那么UTF-8的设计是否允许他们容纳大量字符？

（当然，我们不知道外星人是否真的有语言，他们是否或如何交流，但是为了争辩，请想象他们确实如此。）

例如，如果它们的语言由数百万个新发现的字形，符号和/或组合字符组成，那么从理论上讲，UTF-8能否以不间断的方式扩展为包括这些新字形，并且仍支持所有现有软件？

我对字形是否远远超过当前的大小限制并需要更多字节来表示单个字形感兴趣。如果无法扩展UTF-8 ，是否证明相对于UTF-32的唯一优势仅仅是小写字符的大小？

Unicode标准有很多可用空间。Unicode代码点以“平面”和“块”组织。在17架飞机中，目前有11架未分配。每架飞机可容纳65,536个字符，因此实际上有50万个代码点可用于保留外语（除非我们在首次接触之前将所有这些表情符号都填满了更多的表情符号）。截至Unicode 8.0为止，总共仅分配了120,737个代码点（大约占总容量的10％），未分配的数量大致相同，但保留给专用的，专用于应用程序的用途。总共未分配974,530个代码点。

UTF-8是Unicode的一种特定编码，当前每个代码点限制为四个八位字节（字节），这与UTF-16的限制相匹配。特别是，UTF-16仅支持17架飞机。以前，UTF-8每个代码点支持6个八位位组，并且旨在支持32768个平面。原则上可以取消此4字节的限制，但这将破坏Unicode的当前组织结构，并要求淘汰UTF-16-考虑到在某些操作系统和编程中的地位，这不太可能在不久的将来发生语言。

UTF-16仍然普遍使用的唯一原因是它是对有缺陷的UCS-2编码的扩展，该编码仅支持单个Unicode平面。否则，它会从UTF-8（非固定宽度）和UTF-32（非ASCII兼容，浪费公共数据的空间）两者中继承不受欢迎的属性，并且需要字节顺序标记来声明字节序。尽管存在这些问题，但UTF-16仍然很受欢迎，我不太乐观这很快就会改变。希望我们的新外星人霸主将会看到他们统治的障碍，并以他们的智慧将UTF-16从地球上抛弃。

如果实际上要扩展UTF-8，我们应该查看它可以代表的绝对最大值。UTF-8的结构如下：

Char. number range  |        UTF-8 octet sequence
   (hexadecimal)    |              (binary)
--------------------+---------------------------------------------
0000 0000-0000 007F | 0xxxxxxx
0000 0080-0000 07FF | 110xxxxx 10xxxxxx
0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

（从RFC无缝复制）。我们看到，第一个字节始终控制组成当前字符的后续字节数。

如果我们扩展它以允许最多8个字节，我们将获得其他非Unicode表示形式

111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
11111110 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
11111111 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

计算该技术允许我们得出的最大可能表示

  10000000₂
+ 00100000₂ * 01000000₂
+ 00010000₂ * 01000000₂^2
+ 00001000₂ * 01000000₂^3
+ 00000100₂ * 01000000₂^4
+ 00000010₂ * 01000000₂^5
+ 00000001₂ * 01000000₂^6
+ 00000001₂ * 01000000₂^7

或以10为基数：

  128
+  32 * 64
+  16 * 64^2
+   8 * 64^3
+   4 * 64^4
+   2 * 64^5
+   1 * 64^6
+   1 * 64^7

这使我们的最大陈述量为4,468,982,745,216。

因此，如果这40亿个字符（或您所希望的万亿个）足以表示外来语言，我非常肯定我们可以以最小的努力扩展当前的UTF-8以取悦我们的新外星霸主;-)

RFC3629将UTF-8限制为每个字符最多四个字节，最大值为0x10FFFF，最多允许1,112,064个代码点。显然，可以删除此限制并扩展标准，但这将证明对达到该限制的现有代码进行了重大更改。

从数据文件的角度来看，这并不是一个重大变化，因为该标准的工作原理是，如果设置了每个字节的最高有效位（MSB），那么下一个字节就是编码的一部分。即使在RFC3629之前，该标准也被限制为31位，而未设置第四个字节的MSB。

但是，将标准扩展到0x10FFFF以上将破坏UTF-8与UTF-16的部分数据兼容性。

实际上，如果2个Unicode代码点代码组合了字符，则它们代表无限多个字形。

例如，比较一下Unicode编码韩文韩文字母的两种方式：Hangul Syllables和Hangul Jamo。字符웃in Hangul Syllabels是单个代码点，C6C3而字符웃 是Hangul Jamo三个代码点110B（ㅇ）116E（ㅜ）11B9（ㅅ）。显然，使用组合字符占用的代码点少得多，但写入效率较低，因为写入每个字符需要更多字节。

使用此技巧，无需超出当前可以使用UTF-8或UTF-16编码的代码点的数量。

我想这归结为如果外语的语言每条消息比世俗语言需要更多字节的情况，那么外星人会感到多么生气。如果他们不介意，例如使用100k个字符组合来表示数百万个字符中的每个字符，那就没有问题；另一方面，如果被迫使用比地球更多的字节，使他们感觉像是二等公民，我们可能会遇到一些冲突（与我们对UTF-8的观察一样）。

编辑：问题现在说“成千上万的新字符”。这很容易回答：

没有。Utf-8是Unicode编码。Unicode具有一个代码空间，该代码空间允许1,114,112个不同的代码点，并且当前未分配的代码点不到一百万个。因此，不可能在Unicode中支持数百万个新字符。根据定义，没有Unicode编码可以支持比Unicode定义更多的字符。（当然，您可以通过进一步编码级别来作弊-毕竟，任何类型的数据都只能由两个字符表示。）

要回答原始问题：

Unicode不支持这种语言，它支持字符-用于以书面形式表示语言的符号。

并非所有人类语言都有书面表达，因此Unicode不能支持所有人类语言。此外，许多动物交流但没有书面语言。例如，鲸鱼的交流形式足够复杂，可以调用一种语言，但没有任何书面形式（也不能被现有的语音符号捕获）。因此，即使不是世界上所有的语言都可以支持Unicode。

更糟的是像蜜蜂的语言。它不仅没有书面形式，而且不能以书面形式有意义地表示。语言是一种舞蹈，基本上指向一个方向，但依赖于太阳的当前位置。因此，舞蹈仅在执行舞蹈的特定位置和时间具有信息价值。符号或文字表示必须包含蜜蜂语言当前无法表达的信息（位置，太阳的位置）。

甚至书面或符号形式的交流也可能无法用Unicode表示。例如，插图或无词漫画不受Unicode支持，因为字形的集合不是有限的。您会注意到在国际环境中（例如机场）有很多图片传达，因此，不可思议的是，太空旅行的外星人会发展成使用图片语言。

即使外来种族使用的语言的书写系统带有一组有限的符号，该系统也可能无法支持Unicode。Unicode期望书写是符号的线性序列。音乐符号是不能完全用Unicode表示的书写系统的一个示例，因为含义是在符号选择以及垂直和水平位置中编码的。（Unicode确实支持单个音乐符号，但不能对乐谱进行编码。）使用复音音乐（并不少见）或具有类似复杂性的交流渠道进行交流的外星人种族，其书写系统可能看起来像管弦乐乐谱，并且Unicode不支持此功能。

但是为了便于讨论，我们假设所有语言，甚至是外来语言，都可以表示为从有限集合中选择的线性符号序列。Unicode足够大，可以被外星人入侵吗？Unicode当前有不到一百万个未分配的代码点。根据最全面的中文词典，中文包含十万个字符（Unicode目前不支持所有字符作为不同的字符）。因此，只有十种中文复杂的语言会用完所有Unicode。在地球上，我们有数百种不同的书写系统，但幸运的是，大多数书写系统都是字母的而不是表意的，因此只包含少量字符。如果所有书面语言都使用像中国一样的表意文字，那么Unicode甚至还不够大。字母表的使用源自语音，语音仅使用有限数量的音素，但是对于人类生理学而言尤其如此。因此，即使只有一个只有十二个表意文字书写系统的外星球，也可能超出Unicode可以支持的范围。现在考虑该外星人是否已经入侵地球之前的其他行星，并将其书写系统包含在必须支持的字符集中。

扩展或修改当前编码，或引入新的编码将无法解决此问题，因为限制是Unicode支持的代码点数量。

因此，答案很可能不是。