是否有强烈的论据认为生存本能是创建AGI的前提？

11

这个问题源于许多“非正式”来源。电影如《2001年》，《太空漫游》和《前机械帝国》；像《目的地虚空》（弗兰克·赫伯特）这样的书，以及其他书籍都表明，一般智力想要生存，甚至了解其重要性。

生存可能有几种说法。最突出的是什么？

agi

— 埃里克·普拉顿
source

@DukeZhou您是否有关于该主题的公共文档？

— 埃里克·普拉顿

1

还没有（这将是一个漫长的过程，因为我们的开发周期非常缓慢。在这种情况下，我可能也不应该提到AGI，因为我真正要看的是更多的通用工具功能，可以减轻风险，而不是超智能！）想更新你，但也许如果我删除了原有的过于乐观/在这方面误导评论最好的。

— 周公爵

1

本质上，我认为一般的经济效用函数通过提供主要动机将为AGI奠定良好的基础。（这种想法是，通用情报只是某种程度的能力：一系列无限扩展的问题。）从自动机在保持和改善自身状况的角度出发朝着最佳决策的意义上讲，它与生存本能有关。（虽然不盲目扩张的点可能是有害的“生态系统），其中的每一个决定最终被视为经济。

— DukeZhou

1

（如果您有一个可以讨论这些主题的“在线场所”，那真是太好了-我认为我们会在这个网站上被踢出）

— Eric Platon

6

史蒂夫·奥莫胡德罗（Steve Omohudro）撰写了一篇名为《基本AI驱动器》的论文，详细介绍了为什么我们期望具有狭窄目标的AI能够找到一些基本的，通用的概念，这些概念对于实现其狭窄的目标是有用的。

例如，一个旨在使股票市场收益最大化的AI，但其设计对持续生存的重要性一无所知，这将使AI意识到其持续生存是使股票市场收益最大化的关键组成部分，并因此采取行动使其保持运转。

在一般情况下，我们应该持怀疑态度的“anthropomorphizing” AI和其他代码，但它好像有是有理由预计这一超越“好了，人类行为这种方式，所以它必须是如何将所有情报的行为。”

— 马修·格雷夫斯
source

1

我假设Omohudru在minimax的上下文中使用“最大化回报”，其中减少不利因素是其中的一部分。在我看来，“取胜另存”是循环游戏中极小极大的基本延伸。

— 周公克

5

“生存本能”的概念可能属于马文·明斯基（Marvin Minsky）所称的“手提箱词”，即它把许多相关现象包装在一起，起初看起来是一个奇异的概念。

因此，很有可能我们可以构建出某种具有“硬编码”生存本能的外观的机制，而无需在设计中将其作为显式规则。

请参阅神经解剖学家瓦伦蒂诺·布雷滕伯格（Valentino Braitenberg）漂亮的小书《交通工具》，其中引人入胜的叙述了诸如“生存本能”这样的“自上而下”的概念如何“自下而上”演变。

此外，试图确保将智能文物放在其生存的优先位置上可能会轻易导致Killbot Hellscape。

— 尼采
source

2

我将引用《西西弗斯神话》来回答：

只有一个真正严重的哲学问题，那就是自杀。

因此，如果我们不希望AGI在存在的时候“终止自己”（无论意味着什么），可能就需要某种程度的生存本能。

— kc sayz'kc sayz'
source