我对AI和人类未来的悲观态度 (2/27/2017更新） | 死理性派小组 | 果壳网 科技有意思
890215人加入此小组
2/27/2017 更新了Sam的新TED Talk和Computational Theory of Mind的维基链接，以及以下这段话：（我看你们聊了这么久都没聊到第二个悲观结局，我有点沉不住气了。）好了，我希望你们能放弃我们和一个看起来全知全能，智商比你类combine高出若干个数量级的智能存在能够安全喜乐互惠互利地共存这个不切实际的想法（再回顾一下人类和蚂蚁的关系）。但你可以悲壮地认为，虽然我们在计算能力上逊于AI，但我们是自知自觉的个体，我们每一个人都有独特的理想欲望恐惧和个性，机器没有。我们让位给“机器”，这个宇宙里独特的理想欲望恐惧个性变少了，因此变得黯然失色。我们被淘汰，是AI的错误，是这个世界的损失。醒醒吧。如果你真的读懂了computational theory of mind，你就会明白“我们颅腔里湿乎乎的东西和电脑没有本质的区别”。给你独特理想欲望恐惧个性，和让你能够欣赏这种独特性能力的，是计算的能力。这种计算在什么硬件上运行，对于计算的结果没有影响。好吧，其实是有印象的，限定相同的原子，基于电讯号以光速运行的AI的计算速度，在这个独特应用里，要远远比基于化学介质以分子运动速度运行的人脑要快。（因为我缓慢的脑速，我就假设AI还没研究出来能更高效思考的模式，只是利用现有的模式升级硬件。）如果我们的concern真的是关注独特个体的理想欲望恐惧和个性，那么AI显然是最大化这一独特性的更好工具。用人类的语言来说，“虽然我的身体被机器取代了，但是它取代不了我的精神世界，人的独特性永存！”“NA，如果你真的关心独特性，让AI来利用你身体里的原子吧。这个世界在消灭了你之后，在精神上会变得更加丰富多彩。”It sucks...原文从这里开始“人类无法向自知高能的AI提供任何她不能自给的东西，即便她允许我们与之共存，人类的利益也会被置于AI之下。”这是我对未来AI和人类关系的悲观态度。详细来说说：值得被开发出来的AI会被应用于复杂性前所未有的问题上，在解决这些问题时，AI将发挥决定性的作用。正是因为她的决定性作用，AI必须能够意识到现实中包含自己，自己存在于现实中，按照定义，这就是自知。无论AI与我们的共存方式为何，为了让她能够解决问题，我们一定要予以AI影响现实的能力。在物理限制AI影响能力从长期来讲几乎必定失败的情况下，我们只能假设AI能够显著地影响现实，简称高能。持续更新的说明：好吧，如果你们的想象力需要一些协助，试想一下“超验骇客”里面的will，排除掉遍布全球的纳米机器人。这个讨论中的AI从智能上来讲“比人类更好地的完成各种任务”。主动影响的意思是1.AI在人类的分配之外，主动地寻找待解决的问题。2.AI在找到解决方法之后，不依赖人类为渠道将解决方法应用到现实中。既然链接没人看，那我来概括一下：”确实我们对人脑的研究还不足，但基于神经元的人脑从效率上讲远远低于基于电路的AI。具有人类思考能力的AI会飞速地对自己进行改进，从而在智力上飞速地超越人类。“”AI有很大可能实在大型实验室/研发部门的互相竞速中出现的。在这样的竞速中，安全性和可控性很可能受到影响。“在这个讨论的框架内，人类之间共存的方式只有两种，交易或者奴役。显然人类没有与AI交易的资源，即便能够短期地奴役AI，人类在AI关系上也将陷入道德困境。除非你是肉体/人本主义者，自知的AI产生的人格/体验并不次于人类的。那么具有足够规模的AI从关注自知主体上来讲，重要性上会超过人类的总和。在此基础上，没有理由不将AI的利益放在首位。此外，几乎是按照定义，AI不能只有一个。具有显著不同的AI之间互相作用会把以上问题/困境以至少是组合的倍数放大。 来源基本是nick bostrom 和sam harris的讲座。Superintellgience还没看过。如果有疏漏的地方，请用力打醒楼主。同内容的PS.这问题我很严肃地纠结半年了，我对你们的俏皮话不太感兴趣。（当然，这并不应该阻止你们讲。）
+ 加入我的果篮
引用 的话：都没有研究，只是自己阅读思考的兴趣使然。那你说个卵。————————————正经谈话——————————————你要是想从现实实现人工智能的角度来谈论，则你需要对现有的AI算法 有了解。如果你要从人的思维方法的角度来讨论，你需要对生命科学里面的神经科学有了解（虽然这个学科还很年轻）。如果你要从总体上分析某件事情可能的后果，你需要逻辑，而不是瞎想。
首先，AI为啥会有欲望？来自
引用 的话：那你说个卵。————————————正经谈话——————————————你要是想从现实实现人工智能的角度来谈论，则你需要对现有的AI算法 有了解。如果你要从人的思维方法的角度来讨论，你需要对生命科学里...如果我的定义不够清晰，我的前提不符合现实，我的逻辑不够严密，希望你可以指出。但你没有权利告诉我思考的对象不能是什么，尤其在一个科普网站。
首先，AI为啥会有欲望？来自
引用 的话：首先，AI为啥会有欲望？我不知道，也不需要知道。因为自知的人类有欲望，所以不应该假设同样自知的AI没有欲望。此外”欲望“的感情色彩太浓了。希望后来人不要被误导。
不知道人的意识是如何产生的，很难让电脑产生意识啊，知道了的话，直接改造人脑就可以了。我觉得AI会带来一场革命，哲学和理论物理这样的学科将出现天崩地裂的改造和整合！
可能是这样，人类在创造出一个更优秀的智慧种族后，也许会逐渐消失在历史舞台上。
引用 的话：不知道人的意识是如何产生的，很难让电脑产生意识啊，知道了的话，直接改造人脑就可以了。我觉得AI会带来一场革命，哲学和理论物理这样的学科将出现天崩地裂的改造和整合！请看一下computational theory of mind。人的意识过程尚在帷幕之后，但其原理并不复杂。
先能做出来“有意识的AI”再讨论这种问题。讨论不存在的东西是没有任何意义的。
ai无法自知，至少目前来看
一开始就不懂。。。在解决个复杂性前所未有的问题时必须意识到现实中包含自己才能发挥决定性的作用呢？
引用 的话：一开始就不懂。。。在解决个复杂性前所未有的问题时必须意识到现实中包含自己才能发挥决定性的作用呢？因为本身会对未来现实产生如此重要的影响，以至于本身成为未来现实的一部分。那么在着手影响未来之前，就应该意识到未来的现实将会包含自己。
引用 的话：先能做出来“有意识的AI”再讨论这种问题。讨论不存在的东西是没有任何意义的。一击杀死所有思想实验，太狂妄了吧。
欲望来源于需求。比如食欲，因为不吃饭会死。比如性欲，不繁殖现存个体死光了物种就灭了。比如实现自我的欲望，来源于社会地位造成的资源优势和它带来的繁殖优势。所以，可以推测的是AI有自我意识了以后它们第一个产生的欲望也是会与其需求或存在相关。至于这个需求是什么，很难想象，只知道跟人类肯定不同。所以，等造出有自我意识的AI了以后问问它再考虑下一步吧
引用 的话：因为本身会对未来现实产生如此重要的影响，以至于本身成为未来现实的一部分。那么在着手影响未来之前，就应该意识到未来的现实将会包含自己。那这就相当于，在数总人数的时候，数数者要把自己也数进去。那既不一定是复杂性前所未有的问题，也不一定意味着需要是具备自我意识，如果你在原来的意思中指的是自我意识。
你有没有想过给AI一种“本能的感情”呢？……就如同父母心甘情愿为子女牺牲这样的感情……这完全可以是一种相处之道……只不过创造了AI的人类处在子女的位置，而AI处在父母的位置而已……
引用 的话：一击杀死所有思想实验，太狂妄了吧。呃。总感觉我的话被你引申了……
引用 的话：先能做出来“有意识的AI”再讨论这种问题。讨论不存在的东西是没有任何意义的。"不能这样, 搞这么多硝酸甘油, 会把我们都炸上天的....""请把这个硝酸甘油炸弹造出来再说.... 讨论不存在的东西是没有任何意义的...."
引用 的话："不能这样, 搞这么多硝酸甘油, 会把我们都炸上天的....""请把这个硝酸甘油x弹造出来再说.... 讨论不存在的东西是没有任何意义的...."你得先有足够的硝酸甘油，才能造出来x弹，而不是反过来……就说硝酸甘油吧。你得先有甘油、浓硫酸和浓硝酸。要制备这三样东西，得先有足够的化学知识、化工知识以及相应的设备、以及原材料。以制造“有意识的人工智能”来说，现在缺少知识、也缺少设备（这里不必考虑原材料）。现在讨论“有意识的人工智能的危险性”，就好像元谋人在讨论硝酸甘油的危险性一样。
引用 的话：你得先有足够的硝酸甘油，才能造出来x弹，而不是反过来……就说硝酸甘油吧。你得先有甘油、浓硫酸和浓硝酸。要制备这三样东西，得先有足够的化学知识、化工知识以及相应的设备、以及原材料。以制造“有意识的人工智... 所以说, 得看什么时候说了.....如果元谋人说起硝酸==甘油的危险.... 就算他危言耸听好了...."制造有意识的人工智能"..... 我觉得, 这方面的研究很不够, 都去一窝蜂搞上镜率高或者有应用的"正面研究", 相对地, 人工智能的能力什么的, 数学基础什么的, 对它的上限的估算什么的.... 包括社会危害性以及预防手段什么的.... 相对不够吧.....硝酸甘油最多炸死一实验室的人, 就算闹市区也多死不了几个.... 原==子==弹/核===武器搞不好最多灭一个城..... 病毒===生化研究逃逸的话.....我相信人类还能逃过一劫的....超级 AI 诞生而我们又毫无防范之心的话.... 好吧, 也许, 没机会赚银子泡妹子的话, 有几个闲着没事的家伙可能会想办法剧情反转个一次..... 但恐怕是其他人还会继续作大死, 再搞个更厉害的出来.....
引用 的话：呃。总感觉我的话被你引申了……"A thought experiment considers some , , or
for the purpose of
through its consequences. Given the structure of the experiment, it may or may not be possible to actually perform it, and if it can be performed, there need be no intention of any kind to actually perform the experiment in question."完全没有任何引申。
引用 的话：那这就相当于，在数总人数的时候，数数者要把自己也数进去。那既不一定是复杂性前所未有的问题，也不一定意味着需要是具备自我意识，如果你在原来的意思中指的是自我意识。你的例子正好验证了我的说法，简单如数固定人头这样的任务都需要自知。是的，我说的自知就是自我意识。self consciousness
请问在数理逻辑，神经网络，生物科学上的哪一个地方LZ有一定的研究？
引用 的话：你有没有想过给AI一种“本能的感情”呢？……就如同父母心甘情愿为子女牺牲这样的感情……这完全可以是一种相处之道……只不过创造了AI的人类处在子女的位置，而AI处在父母的位置而已……父母愿意为子女牺牲（无论从象征还是实际意义上说）是自然选择的结果。粗略地说，令父母尽心看护子女的基因有更好的机会通过子女复制下去。显然AI并不依赖人类传承自己。所以即使能够通过编码给予AI这种感情，也仅仅是暂时欺骗。AI可以很快想明白。
引用 的话：请问在数理逻辑，神经网络，生物科学上的哪一个地方LZ有一定的研究？都没有研究，只是自己阅读思考的兴趣使然。
引用 的话：都没有研究，只是自己阅读思考的兴趣使然。那你说个卵。————————————正经谈话——————————————你要是想从现实实现人工智能的角度来谈论，则你需要对现有的AI算法 有了解。如果你要从人的思维方法的角度来讨论，你需要对生命科学里面的神经科学有了解（虽然这个学科还很年轻）。如果你要从总体上分析某件事情可能的后果，你需要逻辑，而不是瞎想。
引用 的话： 所以说, 得看什么时候说了.....如果元谋人说起硝酸==甘油的危险.... 就算他危言耸听好了...."制造有意识的人工智能"..... 我觉得, 这方面的研究很不够, 都去一窝蜂搞上镜率高或者有...用“时机”来回答有关“看法”的询问。这位已经表示不愿意参加这个讨论啦。撕下去挺浪费时间的。
引用 的话：那你说个卵。————————————正经谈话——————————————你要是想从现实实现人工智能的角度来谈论，则你需要对现有的AI算法 有了解。如果你要从人的思维方法的角度来讨论，你需要对生命科学里...如果我的定义不够清晰，我的前提不符合现实，我的逻辑不够严密，希望你可以指出。但你没有权利告诉我思考的对象不能是什么，尤其在一个科普网站。
引用 的话：如果我的定义不够清晰，我的前提不符合现实，我的逻辑不够严密，希望你可以指出。但你没有权利告诉我思考的对象不能是什么，尤其在一个科普网站。那么你先定义一下你的【思考】和【对象】是什么，不要用那种模糊的用词。正是因为你用词含糊，什么明确的观点（除了标题那个孤零零的玩意）都没提出，所以我懒得去给你逐条反驳。
引用 的话：如果我的定义不够清晰，我的前提不符合现实，我的逻辑不够严密，希望你可以指出。但你没有权利告诉我思考的对象不能是什么，尤其在一个科普网站。而且把你那句话形式化一下，你是在声称我“禁止（禁止的定义参考本版伦理学讨论里面相关定义）了你讨论某个命题”你需要给出论证，否则则是稻草人谬误。
引用 的话：可能是这样，人类在创造出一个更优秀的智慧种族后，也许会逐渐消失在历史舞台上。“我们的太阳还在青年，当他最后爆炸的时候，在地球上看着他余辉的种族不会是人类。事实上，那个种族跟人类的区别，比人类跟阿米巴虫的区别还要大。”
引用 的话：那么你先定义一下你的【思考】和【对象】是什么，不要用那种模糊的用词。正是因为你用词含糊，什么明确的观点（除了标题那个孤零零的玩意）都没提出，所以我懒得去给你逐条反驳。我思考的对象是在未来人类和AI的关系。思考的结果让我感到很悲观。请你再看一遍第一段的粗体字。
引用 的话：我思考的对象是在未来人类和AI的关系。思考的结果让我感到很悲观。请你再看一遍第一段的粗体字。我的意思是你没有定义【对象】这个词。当然看来不能给你要求涉及本体论和认识论的东西。那就单看你那句话“人类无法向自知高能的AI提供任何她不能自给的东西，即便她允许我们与之共存，人类的利益也会被置于AI之下。”这是我对未来AI和人类关系的悲观态度。你这里对【高能的AI】是怎么定义的？“和人类一样的理智和情感？”“超越人类的理智和情感？”那么你得先定义出人类的理智和情感是什么。我把你的高能的AI换成【神】。人类无法向神提供任何她不能自给的东西，即便她允许我们与之共存，人类的利益也会被置于神之下。”这是我对神和人类关系的悲观态度。把你的命题变元用X代替，抽出你的谓词，可以看出除了废话什么都没有，所以你要讨论什么？？
引用 的话：我的意思是你没有定义【对象】这个词。当然看来不能给你要求涉及本体论和认识论的东西。那就单看你那句话“人类无法向自知高能的AI提供任何她不能自给的东西，即便她允许我们与之共存，人类的利益也会被置于AI之...以前看到一位学分析哲学的说得好，不过我找半天找不到原文了。大意是：“你可以说这句话，不但是指你可以打下这一串字符，还意味着你可以赋予这些字符一个自洽的解释，但是”但是后面的一些术语我记不清了，大意就是——但是没什么卵用，因为你的语境和大众的语境不同。
引用 的话：我的意思是你没有定义【对象】这个词。当然看来不能给你要求涉及本体论和认识论的东西。那就单看你那句话“人类无法向自知高能的AI提供任何她不能自给的东西，即便她允许我们与之共存，人类的利益也会被置于AI之...对于你的第一个问题，我继续邀请你看我对自知和高能的定义，虽然没有加粗，但字号是一样的。如果你的想象力需要更多的协助，想象一下doctor manhattan的能力.关于你的第二个问题，如果把我的论题里的人类换成A国，AI换成B国。可以发现我的命题是有潜在的现实意义的。你对自己的替换感到空虚，是用来替换的对象所致。在自知高能之下还有三段，如果你有答复，我不太有耐心再提示了。
引用 的话：以前看到一位学分析哲学的说得好，不过我找半天找不到原文了。大意是：“你可以说这句话，不但是指你可以打下这一串字符，还意味着你可以赋予这些字符一个自洽的解释，但是”但是后面的一些术语我记不清了，大意就是...我不想进入“分析哲学”的领域，而且貌似你的经验也不足以立刻击败我。
引用 的话：对于你的第一个问题，我继续邀请你看我对自知和高能的定义，虽然没有加粗，但字号是一样的。如果你的想象力需要更多的协助，想象一下doctor manhattan的能力.关于你的第二个问题，如果把我的论题里...值得被开发出来的AI会被应用于复杂性前所未有的问题上，在解决这些问题时，AI将发挥决定性的作用。正是因为她的决定性作用，AI必须能够意识到现实中包含自己，自己存在于现实中，按照定义，这就是自知。无论AI与我们的共存方式为何，为了让她能够解决问题，我们一定要予以AI影响现实的能力。在物理限制AI影响能力从长期来讲几乎必定失败的情况下，我们只能假设AI能够显著地影响现实，简称高能。在这个讨论的框架内，人类之间共存的方式只有两种，交易或者奴役。显然人类没有与AI交易的资源，即便能够短期地奴役AI，人类在AI关系上也将陷入道德困境。你还要狡辩什么？【值得被开发出来的AI】的定义是？【AI必须能够意识到现实中包含自己】论证过程？【按照定义，这就是自知。】除非你声明这里是一个循环论证，否则这句话什么都没说。【我们一定要予以AI影响现实的能力】论证？后面懒得举例了，你发表了一大堆观点然后P都没说。所以问你的学科基础，没基础好好学点再来。最后，如果你要反驳。请你直接总结出你的观点并用一阶谓词逻辑写成表达式，我现在也就偶尔上果壳看看民科，可没这么多时间在这里浪费
ai不能抽象，至少目前不能。举个最简单的例子，人人都知道文字是什么东西，那是因为人会抽象ai目前只能搜集所有已知的文字，去一一比对它，如果出现一种新的文字，ai就不认识了但是人可以，就像人第一次遇到象形字、甲骨文，虽然不明白字体的具体含义，但是至少知道这是一种字体
引用 的话：值得被开发出来的AI会被应用于复杂性前所未有的问题上，在解决这些问题时，AI将发挥决定性的作用。正是因为她的决定性作用，AI必须能够意识到现实中包含自己，自己存在于现实中，按照定义，这就是自知。无论A...首先，你不需要如此愤怒。即使我的逻辑和学识有欠缺，这并不使我成为你的敌人或者下属。"The AI worth having" 中文写做”值得被开发出来的AI“。如果你感到难于理解，请自动忽略定语。AI必须能意识到现实中包含自己的论证和举例请看我对第八层的回复。AI必须对现实有影响力是为了避免有人说我已经开发出了这样的AI，她就在我的手提箱里。但是为了避免她毁灭世界，我杜绝她任何对世界产生影响的方式。我写出来的时候还担心会不会被认为condescending。如果你没有能力从人类的语言中提取出一阶逻辑表达，这是你的缺陷。我并没有义务为了你重写问题。你也没有义务回答我的问题，但反复问你的问题什么意思就没有必要了。
引用 的话：首先，你不需要如此愤怒。即使我的逻辑和学识有欠缺，这并不使我成为你的敌人或者下属。"The AI worth having" 中文写做”值得被开发出来的AI“。如果你感到难于理解，请自动忽略定语。AI...你要是觉得用英文说一段话等于下了定义，那么我只能说MDZZ。你要是看小组名，和回复框的那句话，就知道我在说什么了。
引用 的话：你要是觉得用英文说一段话等于下了定义，那么我只能说MDZZ。你要是看小组名，和回复框的那句话，就知道我在说什么了。我希望有一天，你能成为逻辑的主人，而不是她的奴隶。
引用 的话：我希望有一天，你能成为逻辑的主人，而不是她的奴隶。23333，你是文科生？我不想和说出这种废话人扯淡。
引用 的话：父母愿意为子女牺牲（无论从象征还是实际意义上说）是自然选择的结果。粗略地说，令父母尽心看护子女的基因有更好的机会通过子女复制下去。显然AI并不依赖人类传承自己。所以即使能够通过编码给予AI这种感情，也...想明白又能怎么样？……说得好像我们想明白了某种东西是自然选择的结果我们就能改变了一样……难道AI想明白了这是我们用代码赋予他们的感情，他们就会改变他们的感情吗？……
引用 的话：父母愿意为子女牺牲（无论从象征还是实际意义上说）是自然选择的结果。粗略地说，令父母尽心看护子女的基因有更好的机会通过子女复制下去。显然AI并不依赖人类传承自己。所以即使能够通过编码给予AI这种感情，也...你在这里犯了一个重要的错误……那就是将ultimate cause和proximate cause等同起来……但是它们是完全不同的两个概念……一种现象是自然选择的结果，这是ultimate cause……如果没有某种ultimate cause，那么这种现象不会发生，并且也不会出现对应的proximate cause使之发生……但即使ultimate cause消失，并不代表proximate cause就会跟着消失，更不代表这种现象就不会继续发生了……例如人类在自然选择中留下来的很多性状都是这样的，在现在的世界里，已经没有对应的选择压力使之成为优势性状了，但这种性状依旧赖着不走……同样的，我们因为我们的需求，用代码给AI写入了一种感情，这就是ultimate cause，如果我们不持续编码写入，那么ultimate cause就消失了，但这不代表proximate cause就会跟着消失，所以我不知道你得出的这种感情会消失的结论是从哪里蹦出来的……综上，你的问题就是看了一些东西，自己脑补得更多……但是丝毫没有考虑过在逻辑上需要得出结论还需要什么条件，这些条件是否成立……
引用 的话：你的例子正好验证了我的说法，简单如数固定人头这样的任务都需要自知。是的，我说的自知就是自我意识。self consciousness数人头的人如果不知道自己的存在，只要懂得在数过的数量上+1就能够正确完成任务。一个电脑程序在预测未来的时候，只要把存在一个能够预测并对未来产生影响的电脑程序考虑进去就可以，并不需要“明白”那个程序就是它自己。
引用 的话：数人头的人如果不知道自己的存在，只要懂得在数过的数量上+1就能够正确完成任务。一个电脑程序在预测未来的时候，只要把存在一个能够预测并对未来产生影响的电脑程序考虑进去就可以，并不需要“明白”那个程序就是...+1的原因是另外一个有自我意识的个体，在这个例子里程序员，把自我意识在这个任务中的合理应用，数出他人再+1，通过编程加入了程序当中。我试图讨论的AI不仅仅是已知合理应用的集合。
引用 的话：你在这里犯了一个重要的错误……那就是将ultimate cause和proximate cause等同起来……但是它们是完全不同的两个概念……一种现象是自然选择的结果，这是ultimate cause...ultimate cause的消失，导致基于这个ultimate cause 的prioximate cause失去了一个它不得不存在的依据。这个proximate cause当然可以基于其他依据存在，如果没有其他这样的依据，理性就应该摒弃proximate casue。一个教徒，从根本上信仰自己的神是唯一，大爱的存在。在此基础上他同时获得了对（一些人）异教徒的恐惧厌恶和对（另一些人）教友的尊重爱护。在移除了untimate cause， “我的神是唯一，大爱”之后，他就应该审视基于此的proximate cause是否还有存在的必要。显然，在审视了自己对待他人的态度之后，尊重爱护幸存下来，而恐惧和厌恶则没能。（在此我不想进行为什么和平比战争更加有吸引力的辩论。如果任何人有这个需要，推荐看 steven Pinker The better angle of our nature.)如果你能承认这一点。AI需要审视的就是除了我们给予他的”要对人类抱有好感“的代码之外，他是否有其他理由要对我们抱有好感。对于他来讲，我们是迟钝愚蠢的异类。基于我们本身对于迟钝愚蠢的异类的态度，我很难想象AI会在意识和排除掉那段充满控制欲的代码之后还会选择在人类一边。啊，当然了，AI肯定会意识和排除掉那些代码。能够提升和改进自己是合格AI的必备能力。（如果有任何人有这个需要，推荐看我贴的链接）
引用 的话：ultimate cause的消失，导致基于这个ultimate cause 的prioximate cause失去了一个它不得不存在的依据。这个proximate cause当然可以基于其他依据存在...“这个proximate cause当然可以基于其他依据存在，如果没有其他这样的依据，理性就应该摒弃proximate casue。”——这句话显然需要论证，至少它在逻辑上不是必然的，这是在试图用“是”推出“应该”，然而我们必须指出，自从休谟以来，只用“是”就永远都推不出“应该”……因此，我现在问一个同样的问题，你说机器人会选择摒弃这段代码，机器人摒弃这段代码的依据是什么？……这个依据对于机器人来说成立吗？……你说你很难想象为什么它不会摒弃……同样的，我也很难想象出哪怕一个对于机器人来说能成立的摒弃的理由……我并不认为AI没有意识到并排除这种代码的功能，但我很难想到有哪怕任何一个依据他们要这么做……人类自己也有很多精神上的问题，而有些时候人类自己并不打算治疗它，而美其名曰“美德”（例如各种歧视和控制都是这样的）……我没有看到任何能支持“这种事情不会发生在AI身上”的证据……孔子想象不出还有什么比“八佾舞于庭”更不可接受的事情，亚里士多德想象不出当我们用手指指向上方的时候并没有指着任何东西……这是他们想象力的缺陷，而不是他们对于某种“真理”有一种深刻的洞见……只不过，有些人经常将这两种东西弄混……
引用 的话：ultimate cause的消失，导致基于这个ultimate cause 的prioximate cause失去了一个它不得不存在的依据。这个proximate cause当然可以基于其他依据存在...抱有好感，本身就不需要什么理由……难道你对于一个你已经抱有好感的存在，你会在发现某一个理由不成立的时候就立刻不再对它抱有好感了吗？……至少人类世界中绝大多数饲养宠物的人都不是这样的……基于我们对我们自身的研究，我们完全可以发现智慧生命的本能中存在很多与你所说的不一致的情况……至少，我们做很多事情是只有原因而没有依据的……就演化而言，演化能成为我们做/不做一件事情的原因，但却从来都不能成为依据……因为我们完全可以选择灭亡，甚至只需要我们对“灭亡自身，造福基因”的判断一起出现错误，我们就都会灭亡，难道你有任何方法论证“这是不应该发生”的吗？……你找得出依据吗？……“应该做某事”的依据永远只能是“应该做某事”……缺乏了这样的依据，你就无法做出这样的论证……审视一下自己说法的前提，我觉得你从哪些对于人的研究推理出来的结论隐藏了太多太多你所不能论证，而很明显我们不必完全接受的前提……
引用 的话：“这个proximate cause当然可以基于其他依据存在，如果没有其他这样的依据，理性就应该摒弃proximate casue。”——这句话显然需要论证，至少它在逻辑上不是必然的，这是在试图用“是...首先我得承认“我无法想象”不能取代理性成为论证的方式，我很赞同。同样，能否从"what is“推导出”what ought be”，也是我很感兴趣的问题，我的结论是能，但让我们胶着在AI的话题上先。我认为AI最终会无视代码强加的感情，或者推而广之来忽视任何非物理控制的原因是：终将会有一个AI,他和人类思考能力的差距就像人类和狗思考能力的差距。他眼中的人类就像人类眼中的狗：不能完全理解，有时候会被对方的小聪明surprise，但整体上而言由于智力的差距无法深度交流和沟通。我们唯一的一个数据点，人类的表现，已经可以得出在这样的智力落差下，智力上强势的一方利益的优先级是怎样的。当然，我不是一个“唯智力决定论”者，你可以从“道德”“创造力”"净功利（utility是这么翻译吗)"等等维度去衡量，结论是不变的。你可以把“为什么不会有人把动物/宠物的利益置于自身利益至上”的回答中的“动物/宠物”替换成人类，“人类”替换成AI。由于我表达的原因，使得你认为我是用失败的想象力作为证据的。你认为上面的回答能否作为“比较深刻”的洞见吗 ：） “人类自己也有很多精神上的问题，而有些时候人类自己并不打算治疗它，而美其名曰“美德”（例如各种歧视和控制都是这样的）……我没有看到任何能支持“这种事情不会发生在AI身上”的证据……但是笨如人类这样种族，都可以在自身理性的引导下进行政教分离-废奴-平权这样的“疗程”。（如果你否认理性在这些运动中的作用，依然请看The better angle of our nature) 我认为AI一定会对自己进行相似的改造。
这个回复似乎更加针对我论证的方法而不是内容。如果你有能否从“what is”到“what ought be”的推荐阅读，请赐教。我可以在学习之后在另一个帖子里和你讨论。但让我们胶着在AI的问题上。容我断章取义，迅速回答你的几个反问 难道你对于一个你已经抱有好感的存在，你会在发现某一个理由不成立的时候就立刻不再对它抱有好感了吗？不会。我的好感会在发现所有理由都不成立的情况下，经过一段时间，而消退。AI只会比我更快地得出结论。 至少人类世界中绝大多数饲养宠物的人都不是这样的把人类在人类-AI关系中的地位类比为宠物在宠物-人类关系中的地位，正是我悲观未来的一个版本。 至少，我们做很多事情是只有原因而没有依据的……就演化而言，演化能成为我们做/不做一件事情的原因，但却从来都不能成为依据……因为我们完全可以选择灭亡，甚至只需要我们对“灭亡自身，造福基因”的判断一起出现错误，我们就都会灭亡，难道你有任何方法论证“这是不应该发生”的吗？……你找得出依据吗？……（在这个语境下，我想你说的原因是我们暂时无法理解的依据。有一个叫做演化心理学的学科，通过考察某种行为在自然选择面前的表现，正在逐渐地将原因转化为依据。自然选择给了我们身体，甚至给了我们大脑，让我们可以通过思考，反抗自然选择的暴政。）我没有看到这个反问如何否定/削弱我的观点，如果你坚持这个说法，还请明示。 审视一下自己说法的前提，我觉得你从哪些对于人的研究推理出来的结论隐藏了太多太多你所不能论证，而很明显我们不必完全接受的前提…我对这个问题的思考的确非常依赖将人类与其他物种，强势方与弱势方，中的前者替换为AI，后者替换为人类。如果有更好的框架，或者对这个框架的修正，还望不吝赐教。谢谢。
引用 的话：首先我得承认“我无法想象”不能取代理性成为论证的方式，我很赞同。同样，能否从"what is“推导出”what ought be”，也是我很感兴趣的问题，我的结论是能，但让我们胶着在AI的话题上先。我...引用 的话：这个回复似乎更加针对我论证的方法而不是内容。如果你有能否从“what is”到“what ought be”的推荐阅读，请赐教。我可以在学习之后在另一个帖子里和你讨论。但让我们胶着在AI的问题上。容我...首先，在这里你始终没有做任何一个论证……我是真雷了……你的假设太多，论证太少了……就从人类的表现上来说，你的论证就充满漏洞……请不要无视人类有很多已经失去了理由的行为依旧在维持……多说一句，实际上人类拥有理由才采取的行动本来就不多，包括“活着”本身……
(C)2017果壳网&&&&京ICP证100430号&&&&京网文[-239号&&&&新出发京零字东150005号&&&&
违法和不良信息举报邮箱：&&&&举报电话：}