人类例外主义在过去酿成了悲剧，对人类未来的繁荣似乎也是不必要的。如果我们发现了一个和平的外星文明，它在科学和艺术等我们关心的一切事物上都比我们要先进得多，这可能并不会妨碍人们继续体验生活中的意义和目标。
我们可以保留家人、朋友和广泛的社区，以及一切为我们带来意义和目标的活动。我希望到那时，弃我们而去的只有我们的傲慢。
在规划未来时，我们不仅要考虑自己生命的意义，还要考虑宇宙本身的意义。在这一点上，有位科学家有一句著名的话?“我们对宇宙理解得越多，它就越显得毫无意义。”
然而，正如在梦境中看到的那样，叶轻尘观点要乐观得多，虽然他也认同我们的宇宙是毫无意义的，但他相信生命正在让宇宙充满越来越多的意义；如果生命的种子成功地散播到整个宇宙，那未来一定是光明的。
而到底是哪种设想更接近真相？过不了多久，我们就会知道答案了。如果我们让地球生命走向灭绝，或让无意识的僵尸人工智能控制了宇宙，从而让宇宙回到永无止境的无意识状态，那毫无疑问，人工智能就大获全胜。
从这个角度来看，虽然我们在这本书中将注意力放在智能的未来上，但实际上，意识的未来更为重要，因为意识才是意义之所在。哲学家喜欢用拉丁语来区分智慧，用智能的方式思考问题的能力与意识主观上体验到感质的能力）。
我们人类其实本身就身为智人，乃是周遭最聪明的存在。当我们做好准备，谦卑地迎接更加智慧的机器时，很多人建议给自己起个新名字——意人！
关于“意识”，目前还没有无可争辩的定义。我使用的定义十分宽泛，并且不以人类为中心。我认为意识＝主观体验。
人工智能是否拥有意识？这个问题归根结底是一些因人工智能崛起而引发的最棘手的伦理和哲学问题人工智能能否感觉到痛苦？它们是否应该拥有权利？上传思想算不算主观上的自杀？如果未来的宇宙充满了人工智能，算不算终极的僵尸末日？
要理解智能，就必须回答三个关于意识的问题“相当难的问题”“更难的问题”和“真难的问题”。第一个问题是预测哪些物理系统拥有意识；第二个问题是预测感质；第三个问题是物质为什么会产生意识。
“相当难的问题”是科学的，因为它可以预测哪些大脑过程拥有意识，而这样的理论是可以用实验来证实和证伪的。但我们目前尚不清楚科学要如何解决那两个更难一些的问题。
神经科学实验告诉我们，许多行为和脑区都是无意识的，大部分意识体验都是对大量无意识信息做出的“事后总结”。
将意识的预测从大脑推广到机器，需要一个理论。意识似乎不需要某种粒子或场，但需要某种具备自主性和整合性的信息处理过程，这样，整个系统才能拥有足够高的独立性，而它的组成部分却没有独立性。
意识感觉起来是“非物质”的，因为它具有双重的物质层面的独立性如果意识是信息以某种复杂的方式处理的感觉，那么，只有信息处理的结构才是重要的，而处理信息的物质自身的结构则无足轻重。
如果人造意识是可能的，那么，与人类的体验比起来，人工智能的体验空间可能非常庞大，在感质和时间尺度上跨越极大的范围，但都能体会到自由意志的感觉。
由于没有意识就没有意义，因此，并不是我们的宇宙将意义赋予了有意识的实体，而是有意识的实体将意义赋予了我们的宇宙。
这意味着当我们做好准备，谦卑地迎接更加智慧的机器时，我们可以从“意人”这个新名字，而不再是“智人”中获得些许慰藉。
我们看到了人工智能可能会带来巨大的机会和艰巨的挑战。有一个策略可能对所有人工智能挑战都有用，那就是让我们一起行动，在人工智能完全起飞之前对人类社会进行改善。
如果我们教育年轻人，在技术获得巨大的力量之前保证技术是稳健而有益的，那一切就会变得更好。如果我们及时修改法律，让其跟上技术的发展，以免过时，那一切也会变得更好。如果我们能在国际争端升级为自动化武器军备竞赛之前就解决它们，那一切也会变得更好。
如果我们能在人工智能加剧不平等现象之前就创造出一个人人富裕的社会，一切也会变得更好。如果在我们的社会中，人工智能安全性研究的成果得以实施，而不是被人忽视，那一切也会变得更好。再看得远一点，看看与超人类通用人工智能有关的挑战。
如果我们在教给强大的智能机器基本伦理标准之前，在某些标准上达成了共识，那一切就会变得更好。在一个极端和混乱的世界里，有权有势的人有更大的动机和能力用人工智能来胡作非为。
同时，比起彼此合作，争先恐后的通用人工智能开发团队们更有动力在安全性上偷工减料。总而言之，如果我们能创建一个齐心协力追求共同目标的和谐社会，那么，人工智能的变革极有可能会带来皆大欢喜的结果。
我们可以保留家人、朋友和广泛的社区，以及一切为我们带来意义和目标的活动。我希望到那时，弃我们而去的只有我们的傲慢。
在规划未来时，我们不仅要考虑自己生命的意义，还要考虑宇宙本身的意义。在这一点上，有位科学家有一句著名的话?“我们对宇宙理解得越多，它就越显得毫无意义。”
然而，正如在梦境中看到的那样，叶轻尘观点要乐观得多，虽然他也认同我们的宇宙是毫无意义的，但他相信生命正在让宇宙充满越来越多的意义；如果生命的种子成功地散播到整个宇宙，那未来一定是光明的。
而到底是哪种设想更接近真相？过不了多久，我们就会知道答案了。如果我们让地球生命走向灭绝，或让无意识的僵尸人工智能控制了宇宙，从而让宇宙回到永无止境的无意识状态，那毫无疑问，人工智能就大获全胜。
从这个角度来看，虽然我们在这本书中将注意力放在智能的未来上，但实际上，意识的未来更为重要，因为意识才是意义之所在。哲学家喜欢用拉丁语来区分智慧，用智能的方式思考问题的能力与意识主观上体验到感质的能力）。
我们人类其实本身就身为智人，乃是周遭最聪明的存在。当我们做好准备，谦卑地迎接更加智慧的机器时，很多人建议给自己起个新名字——意人！
关于“意识”，目前还没有无可争辩的定义。我使用的定义十分宽泛，并且不以人类为中心。我认为意识＝主观体验。
人工智能是否拥有意识？这个问题归根结底是一些因人工智能崛起而引发的最棘手的伦理和哲学问题人工智能能否感觉到痛苦？它们是否应该拥有权利？上传思想算不算主观上的自杀？如果未来的宇宙充满了人工智能，算不算终极的僵尸末日？
要理解智能，就必须回答三个关于意识的问题“相当难的问题”“更难的问题”和“真难的问题”。第一个问题是预测哪些物理系统拥有意识；第二个问题是预测感质；第三个问题是物质为什么会产生意识。
“相当难的问题”是科学的，因为它可以预测哪些大脑过程拥有意识，而这样的理论是可以用实验来证实和证伪的。但我们目前尚不清楚科学要如何解决那两个更难一些的问题。
神经科学实验告诉我们，许多行为和脑区都是无意识的，大部分意识体验都是对大量无意识信息做出的“事后总结”。
将意识的预测从大脑推广到机器，需要一个理论。意识似乎不需要某种粒子或场，但需要某种具备自主性和整合性的信息处理过程，这样，整个系统才能拥有足够高的独立性，而它的组成部分却没有独立性。
意识感觉起来是“非物质”的，因为它具有双重的物质层面的独立性如果意识是信息以某种复杂的方式处理的感觉，那么，只有信息处理的结构才是重要的，而处理信息的物质自身的结构则无足轻重。
如果人造意识是可能的，那么，与人类的体验比起来，人工智能的体验空间可能非常庞大，在感质和时间尺度上跨越极大的范围，但都能体会到自由意志的感觉。
由于没有意识就没有意义，因此，并不是我们的宇宙将意义赋予了有意识的实体，而是有意识的实体将意义赋予了我们的宇宙。
这意味着当我们做好准备，谦卑地迎接更加智慧的机器时，我们可以从“意人”这个新名字，而不再是“智人”中获得些许慰藉。
我们看到了人工智能可能会带来巨大的机会和艰巨的挑战。有一个策略可能对所有人工智能挑战都有用，那就是让我们一起行动，在人工智能完全起飞之前对人类社会进行改善。
如果我们教育年轻人，在技术获得巨大的力量之前保证技术是稳健而有益的，那一切就会变得更好。如果我们及时修改法律，让其跟上技术的发展，以免过时，那一切也会变得更好。如果我们能在国际争端升级为自动化武器军备竞赛之前就解决它们，那一切也会变得更好。
如果我们能在人工智能加剧不平等现象之前就创造出一个人人富裕的社会，一切也会变得更好。如果在我们的社会中，人工智能安全性研究的成果得以实施，而不是被人忽视，那一切也会变得更好。再看得远一点，看看与超人类通用人工智能有关的挑战。
如果我们在教给强大的智能机器基本伦理标准之前，在某些标准上达成了共识，那一切就会变得更好。在一个极端和混乱的世界里，有权有势的人有更大的动机和能力用人工智能来胡作非为。
同时，比起彼此合作，争先恐后的通用人工智能开发团队们更有动力在安全性上偷工减料。总而言之，如果我们能创建一个齐心协力追求共同目标的和谐社会，那么，人工智能的变革极有可能会带来皆大欢喜的结果。