这是"启示录私有化"的最后一部分,这是一篇由四部分组成的论文,整篇论文于10月出版。阅读前面的文章--- 第1部分:"50/50谋杀案 ", 第2部分:"威慑---和无法遏制的 ", 第3部分:"超级AI上的致命赌博" {#a874}


一种有害的H5N1流感病毒在2003年开始杀人。它是历史上最致命的病毒之一。但它的一个堂兄弟更有名。通常被称为猪流感,表弟也是正确的担心。但最糟糕的是,H5N1杀死感染的可能性要高出三千倍。不是三千分之一(这将是非常糟糕的),而是三千倍。{#bfad}

世界卫生组织已经证明,这种毒株可以摧毁60%的摧毁。这比埃博拉更致命,几乎所有的癌症都是致命的。当然,与猪流感相比,它更像是一种技术术语,它几乎可以使死亡率仅为0.02 %。但是对于它的所有缺点,H5N1有一个特点我认为我们都可以落后:它在人类中根本没有传染性。{#2f23}

在实验室之外,就是这样。{#1baf}

然而,就是这样。{#893b}

流感病毒的传播性,即其易于从一个人移动到另一个人的能力,在于它的基因。 2011年,威斯康星州和荷兰的研究人员对相对非传染性的H5N1基因组进行了认真研究,并且(由于缺乏一个更好的词)修复了它。这给了他们突变的H5N1菌株,它们与原始风味一样致命 - 但也具有高度传染性。就像,敢于拥有一切!{#9c40}

受到尊敬的期刊" 科学 "杂志的一个部门说,像这样的一种压力可以" 改变世界历史,如果它被释放",通过引发大流行"很可能有数百万人的死亡"。美国国家生物安全科学顾问委员会主席保罗凯姆说:"我想不出另一种像这种病毒一样可怕的致病微生物。"他补充说:"与此相比,我认为炭疽病根本不可怕。"我要补充一点, Keim是炭疽专家 。{#bf31}

有一种乐观的观察方式,让我们从那里开始。造成这种憎恶是一项新奇的事业。在2011年,只有少数精心设置的实验室的专家可以将其取消。那些做过的人是职业病毒学家,其工作涉及预防,而不是引起疾病暴发。最重要的是,他们只创造了少量高度隔离的细菌。尽管如此,如果发生嘘声,可能会在一场世界大战中杀死。{#6172}

现在,换另一种观点。流感的每种变异也是一个微小的数据文件。 H5N1的基因组包含的字母少于本文(仅用四个字母的字母表)。它的"香草"版本被广泛传播 。产生其最致命的设计师突变体所需的字母变化肯定会适合一张纸。可能是便利贴。{#863c}

第一个可能的恩德的攻击将像9/11一样前所未有。遏制它的唯一方法是防止它同样出乎意料。 {#5826}

对于一些数据来说,这是非常有用的。释放其蛰伏的愤怒不需要从其实验室扫描试管。所有你需要的是基因调整的简短列表。这是在任何地方重建病毒的精确配方。这需要的培训和专业装备水平令人生畏。目前。但它也在直线下降。它将继续直线下降,进一步加快。因此,能够将纯粹数据转换为致命病原体的人数将会爆炸。{#dfd2}

这一激增有一个先例,我之前曾指出过,单独的实验室技术现在可以超过13年人类基因组计划(HGP)的产量,只需几个小时的努力。预算压缩同样极端,自2003年以来约为300万比1(HGP成本约为30亿美元,而实验室技术的产量将为您带来大约一千美元)。虽然令人震惊,但这种先前的发展并不是天生的威胁。 HGP的基础技术是阅读遗传密码。虽然武器化像流感这样的东西需要编辑它。{#d13d}

这是一个不同的技巧。也是一个更难的人。但正如之前发生的基因组阅读一样,基因编辑的工具正在通过快速复兴而尖叫。今天的顶级编辑方法甚至不存在,因为那些残忍的流感病毒菌株在2011年被煮熟了。它被称为CRISPR ,它可以像喷气引擎一样对基因编辑进行改造。{#97c6}


CRISPR已经传播到遥远的学术科学郊区。数以百计的大学,甚至高中团队每年召开一次名为iGEM的生物工程大会,该大会分发了数十种基于 CRISPR的工具的开放目录 - 所有这些工具都是由其他学生创建的。 iGEM是一个真正鼓舞人心的活动。它吸引了数千名具有巨大潜力帮助人类的年轻人。它还向我们展示了当场地的闪电持续出现时,synbio的突破将如何迅速和广泛地扩散。{#5d02}

这使得难以想象的是,狭隘和值得信赖的精英将保留对任何synbio元素的独家统治 - 包括制造怪异病原体的黑暗艺术,如2011年流感黑客。毕竟,这些并不是原创作品的精彩表现 - 而是狭隘的编辑。通过不断改进的工具实现这些工具,其增强功能很快就会无处不在。{#bde7}

大自然做了所有繁重的工作,创造了可怕的起点,如流感,埃博拉,炭疽和脑膜炎。几十年来,实验室已将这些小动物的整个动物园安置在其中,其精心注释的遗传密码可供全球任何人使用。可以在这里 (无数其他地方) 找到方便的链接到几十个。{#1893}

由于一系列原因,最终将设计数以千计的涡轮增压病原体。一些将是论文项目。其他人将是医学研究的副产品。许多将是白帽子好人的手工作品,试图保持领先于坏人(iGEM是一个值得称道的努力的众多原因之一)。一些将被设计为引人注目的特技。{#8e71}

许多这些致命的食谱将受到严格控制。实际上,大多数人可能永远无法摆脱其创作者的数字保险库。但是重要的微小数据文件有扩散的方式。任何一个月都有许多深刻的财务和政府机密被黑了。并且没有大胆的科幻预测来预测学校生物实验室将缺乏像Equifax这样的安全笑柄的防御。{#8d70}

不是所有人都会尽力保密他们的作品。向Reddit发布一个大流行级的基因组可能是某种方式给世界带来手指的方式。技术无政府主义者可能会将其视为一种崇高的道德行为。或者它可能是虚无主义者试图引发实际瘟疫的裸体尝试。一旦这些文件出现在野外,它们就会留在那里。要求任何电影工作室都在努力消除其目录中的盗版行为。恶意基因组的蓝图将不可避免地通过黑暗网络与儿童色情,毒品提供和恐怖主义喋喋不休。随着它们的出现,它们将被广泛地选择,交换和存储。{#8f77}


目前,简单的基因打印机还不存在 - 任何复杂的设备都不能从头开始制造病毒长度的基因组。但这会改变。像计算,基因组学和synbio一样乘以指数改进曲线。至少有一个甚至比摩尔定律更为陡峭 ,摩尔定律着名地追踪计算中的性能提升。这就是为什么今天的复印机大小的序列发生器超出人类基因组计划的序列,该项目占据了数千名科学家(以及数英亩的笨重装备)13年。到2038年,预算DNA合成器将创造奇迹整个synbio领域今天无法想象。他们可能只需要比打印按钮更多的技术技能。{#8469}

理查德普雷斯顿曾经说过,"人类物种与超级病毒的创造之间的主要关系是个体生物学家的责任感。"这在2011年几乎肯定是好的,当时有关人员是受人尊敬的病毒学家。 (也就是说, 联邦调查局得出的结论是,一名陆军生物防御研究员进行了2001年的炭疽袭击,所以你永远不会知道。){#8293}

当世界精英生命科学学生进入潜在的超级病毒创造者群体时,事情将变得不那么稳定。显然,这个群体并不以其嗜血而闻名。然而,十年来最臭名昭着的大规模杀人犯之一曾经属于它。最终,另一个几乎肯定会。因为随着时间的推移和社区的发展,有人从中做出奇怪可怕的事情的可能性从苗条到高,到近乎确定。{#204e}

进一步匍匐下来的学术阶梯,医学预科的学生要多得多的是,并肯定已经知道 关闭 轨道的时候。 安静,聪明的高中生可能是美国人口较为严重的人群之一。 Synbio技术也将逐渐扩散到整个医学领域。这个正确受人尊敬的领域对我们大多数人来说做得远远好于伤害。但" 英国医学杂志" 也指出, "医学可以说比其他所有职业组合起来更多的连环杀手,护理紧随其后。"{#d985}

本系列的前一篇文章认为,在超级人工智能危机中,最有可能的罪魁祸首将是踌躇满志的精英团队在追逐利润的同时走捷径。但是当涉及到晕厥风险时,孤独的自杀性大规模杀人犯更关心我。每年,一小部分人在屠杀尽可能多的随机受害者的行为中寻求自己的死亡,正如本系列的第二篇文章深入讨论。他们很少停止,直到他们自己死了。因此,我们必须理性地假设至少其中一些人会杀死我们最后一个人,如果他们只能这样做的话。{#b2e0}

或者---如果他们可以的话。{#c9fa}


如果这样一个可怕的结果发生了,我们可以称之为我们的歼灭者?在与我讨论这篇文章的电子邮件中, Naval Ravikant创造了 "Ender" 这个词 我觉得这个词很令人回味。美国近乎每天大规模枪击事件背后的一些人可能是恩德斯的心脏。但没有一个人能够放弃对人类的帷幕。目前只有那些拥有庞大核武库的国家才能这样做。他们将暂时保留其严峻的垄断地位。{#096d}

但不是永远。是的,工程大流行的风险目前很小。有些人可能会在未来十年内将躲避灾难的可能性提高到99.9%以上。他们可能是对的。但几十年来的事情是他们接下来的几十年。然后是半个世纪,等等。如果发生千兆谋杀案,其确切的一年将是一个没有先例的悲剧的一个小方面。那些根据对早期十年或二十年的安静的准确预测嘲笑恐惧或预防措施的人不会被称为有先见之明的英雄。{#d7e7}

当然,迄今为止还没有任何同步恐怖主义,这是理想的并且可以解除。但这与预测相关性无关。直到2008年,Myspace一直主导着社交媒体。而Myspace就像C-minus学生那样巧妙地运行在一起。谁想象它的继承人很快会被指控劫持大选?如果你举手,请降低它,因为你在欺骗任何人。{#d9f6}

我讨论过这方面的专家认为,任何一场大流行病几乎都不可能让我们彻底消失。社会对流行病的防御比黑死病猖獗,或者当西班牙流感杀死所有人类的6%时无法实现 。但这可能会被意图和恶意设计所严重抵消。尽管如此,西班牙流感并没有给我们带来任何恶意。盲目的进化也没有狡猾的修改,以最大化死亡率,模糊检测,使潜伏期达到最大致命等等。让我们不要忘记可以立即释放多种致病性恶魔。{#f1db}

因此,我们必须警惕可能滥用synbio开始祝福我们的神奇工具。这意味着好人需要像Ender一样开始思考 - 以免实际存在一个Ender ---因为失败的Ender可能会使人类历史变形而不会达到完全毁灭的任何目标。{#d21a}

很少有国家保留曾经帮助我们度过广泛死亡的复原力(想想如果病态病例淹没了当地医院的容量数百倍,它会怎样)。此外,还要考虑911事件中2,977起凶杀事件发生的流血事件和一般紊乱事件。一个崇拜的安德尔攻击可能比这更致命数千倍。谁知道我们可能在后果中给自己造成多大的伤害?{#2bf5}


但是什么可能激发一个想要的安德尔?我们这些无法理解横冲直撞杀人犯心态的人可能没有能力回答这个问题。但动机可能不仅限于犯罪精神错乱。非暴力信仰系统经常被扭曲以促进大规模谋杀。我们不能排除有一天被劫持以支持彻底的人类毁灭。{#af12}

想想那些认为生活如此糟糕的怪异的反对生殖主义者,将更多人带入世界是不道德的。一个分支派能否得出结论认为消灭这个物种将是一种高尚的道德行为? 自愿人类灭绝运动 - 其恢复生物圈的计划应该是不言而喻的 - 也可能产生一个强制派。{#99f5}

这可能听起来很牵强,但随着自杀性大规模谋杀的正常化,它正在哄骗最近无法想象的原因和动机。一些所谓的incels已经看到他们未能成为大规模屠杀的原因。一个脾气暴躁的纳税人在国税局扼杀时结束了这一切 。一个未成年的YouTuber在服务人员的爆炸中爆发,以减少对她的渴望和广告费用。等等。{#c5f5}

当美国在70年代初期每年遭受数千起爆炸事件时(甚至是真的),即使是圣战组织的自杀式袭击也是闻所未闻。这些攻击是由国内团体进行的,这些团体大多不会伤害任何人(这些是嬉皮士恐怖分子,见)。在80年代,自杀性爆炸事件在广大的穆斯林世界中首次获得了立场。这首先仅限于与什叶派伊斯兰教有关的黎巴嫩民兵,这种民兵以深刻而独特的方式与殉难概念联系起来。{#b743}

新的做法花了很多年才跳到更大的逊尼派世界。它甚至没有被邻近的巴勒斯坦团体所采用,这些团体已经记录了数十年的武装冲突。以色列历史上第一个四十年的历史,充满暴力,但在其领土上没有一次自杀式爆炸。但是,这种危机最终蔓延 - 在千禧年的前五年,在以色列境内和被占领土内发生了129起此类攻击 ,大部分都是由巴勒斯坦逊尼派进行的。{#ec7d}

这表明历史上不可想象的事情可以迅速变得非常普遍。暴力行为 - 就像俚语,裙子长度和自动调整一样 - 都很时髦。自杀性大规模杀人犯是一种具有动力的模因。而且它的一些实践者心中想要恩德斯。但想要在零售店购买大规模谋杀装备的Enders很难与普通的横冲直撞杀手区别开来。所以我们不知道Ender思维方式有多普遍。{#5e11}


即将成为Ender的明显标志将是使用高度致命,无针对性技术的攻击。这将是一个单一的事件(直到模仿者出现)。我相信它会涉及到synbio。{#cb62}

在晕锁灾害发生之前,一个渐进的,明显的小事故鼓声可以引发意识和对策。但这种模式不太可能。第一次晕锁攻击将发生在一个崇拜者Ender进入能够进行一次攻击的人群中。具有安德心态的人可能非常罕见。所以这根本不会发生 - 直到它一下子发生。{#bd2a}

在此之前,技术禁令将毫无意义。最重要的是,它几乎是无法执行的(回想一下,非法药物实验室既非法又无处不在)。最有效的是,它会让流氓国家和邪恶的行为者成为世界末日艺术的垄断者。那是无法阻止灾难的。{#5f7c}

第一个可能的恩德的攻击将像9/11一样前所未有。遏制它的唯一方法是防止它同样出乎意料。我们的防守者通过灾难性的缺乏想象力使9/11成为可能。不缺乏远见(自70年代初以来,机场一直在寻找和防止劫持事件)。并非缺乏预算(毕竟我们很快就花费了数万亿作出9/11的反应)。当然不是缺少警告标志 。但想象力的不足令人震惊。{#dba7}

假设2001年9月10日早上召集一群情报分析员召集头脑风暴会议。他们被告知要弄清楚恐怖分子如何用一些尖锐物体击倒摩天大楼。假设他们每个人都很聪明,并敦促他们在框外思考。而且他们是高度多样化的,代表了广泛的种族和宗教观点。他们需要多长时间来解决难题?{#8962}

回想一下,尽管9/11规划者有很多东西,但他们并不是天才。此外,他们将他们的非巧妙计划分配给一支平庸的团队 - 他们中的大多数人都太朦胧而没有意识到他们正在进行自杀任务。这些骨瘦如柴的男人, 平均身高约5英尺6英寸,几乎无法驾驭他们所在的外国人。{#e2d9}

再说一次:我们出色的分析师应该花多长时间才能看到一个动力不足的团体的最坏情况?它可能要到午餐时间吗?甚至他们第一次喝咖啡休息时间我怀疑它会花费一个小时甚至一小时,但不可能证明。从这一点来看,我得出的结论是,人们很少被要求使用他们的想象力。{#890c}


那么,我们应该怎么做才能解决即将发生的概念与概念和其他技术的碰撞?{#82d3}

这实际上是一个罕见的例子,在这个例子中,它会非常高效。喜欢,很多。{#5d30}

在公共场合,我们需要告诉自己可怕的故事,并失去大量的睡眠。在绝密的会议室里,我们应该要求一些我们最聪明,最扭曲的公民在想要恩德斯提出他们之前,仔细思考低预算,恶魔般的行为。然后,我们需要使这些行为几乎不可能。或者至少,完全不足为奇。{#07ba}

我们其实很擅长这个。面对核毁灭的前景,我们多年来一直吓坏了。我们告诉自己鬼故事的名字如 Dr. StrangeloveOn the BeachFail SafeWar Games 。同时在绝密会议和机密简报会上讲述了更为可怕的故事。然后,当古巴导弹危机袭来时,莫斯科和华盛顿战争室的连锁吸烟者不需要使用他们的想象力。已经为他们做了大量的想象 - 它的输出已经被烧成了他们的神经元。他们确切地知道什么是危险的。因此,人类幸免于难。{#e1d5}

1948年乔治奥威尔在另一个方面吓坏了。由于对现代极权主义的预感,他开了一条叫做 1984年 的可怕纱线。这使得大部分全球知识分子从浪漫化的斯大林主义中接种。 Dean Acheson和其他高级政策制定者也以高效率的方式感到恐慌。有许多过分,没有人应该引以为傲。但最终,苏联在没有开枪的情况下消失了 - 这远远超过现实主义者曾经考虑过的最佳案例结果。{#da92}

还有无数其他例子。例如,你可以在 终结者 队的特许经营中大笑。但是,虽然它不会排除超级人工智能危机,但人们不太可能完全没有意识到这一点。同样是外星人的入侵(尽管那个人在概率等级上与吸血鬼和狼人很接近)。{#2d8b}

如果我们的智力预算的百分之一已经考虑到奥萨马·本·拉登之前可能想到的邪恶,创造性的想法,那么中学曲棍球队可能会在他们上飞学之前踩到他那些狡猾的船员。所以,再说一次:我们不能让我们的想象力重新让我们失望。这意味着我们需要在9月10日相当于分析师的反事实空间。{#3315}

只是,我们需要他们的军队。我们需要他们的整个职业生涯,而不仅仅是一个早晨。我们需要付出很长时间才能工作,并在办公室里捣乱咖啡,比萨饼,啤酒,杂草,酸,甚至蟾蜍毒液。我们需要自我组织的志愿者。人们要告诉各种鬼故事,这些故事可以在实际发生致命事件之前集结社会的抗体。那些能够在工作场所或日常生活中发现微妙的安全漏洞的前瞻性人员可以在一个想要的恩德能够做到这一点之前。{#4c32}

我们真正需要担心的有抱负的Enders有一些可怕的优势。他们将来至少活过几十年,所以他们知道很多我们不知道的事情。他们被我们无法理解的仇恨和怨恨所刺激,这种想法将他们的想象力推向了异乎寻常的方向。他们平均比平均水平更聪明。此外,他们完全承诺,真正无情。{#33eb}

但是我们的数量远超过他们。我们是联系在一起的,而他们是孤立的。我们现在可以开始考虑这个问题了 - 也许在最危险的恩德会出生之前。{#0464}


作为一个小说家,我不禁以一点点情节结束。就是这样:我是一个无情的乐观主义者。边缘病态的。我在synbio,AI和其他新兴技术中看到了如此多的光芒四射的潜力,它几乎烧毁了我的视网膜。我花了一年时间与数十位杰出的科学家和创始人讨论这些问题 ,我相信如果我们把事情弄清楚,人类将面临一个令人眼花缭乱的未来。{#70e0}

事实上,反对国家主义者已经落后了。对我们的继承人进行一次大灾难对我们的继承人来说是一个灾难性的道德错误,因为他们很可能会让它变得如此卑鄙(是的,即使他们可能会像我们一样抱怨 - 这很烦人 - - 但那是你的人类)。如果您对此表示怀疑,请将您自己的作品与生活在黑暗时代的任何人进行比较,包括权力和版税。通过任何可衡量的人类繁荣的衡量标准,当你退去过去时,几个世纪变得越来越可恶。{#7b02}

但幸运的是,对于我们来说,技术在这几个世纪中不断发展。现在可以预防疾病,产生卡路里,改变物质,运输一切,分发知识等的技术。{#265e}

有些人可能会说预防措施是昂贵的,如果他们证明不必要,我们不会觉得愚蠢吗?但是,当我们的火灾保险提供者不向我们房屋的煤渣发送支票时,我们感到非常感激,而不是愚蠢。当旅行安全结束时,我们不会因为安全带上安全带而浪费一些时间。低飞机失事率不会使航空安全支出无效 - 他们为此辩护。{#5e7a}

人类可能会或可能不会面临漫长的未来。如果确实如此,未来将由未经发明的技术塑造和定义,我们无法预测。这真令人兴奋!但它需要极大的谦逊和谨慎。因为如果有一个漫长的未来,那就值得去。{#121e}

查看英文原文

查看更多文章

公众号:银河系1号

联系邮箱:public@space-explore.com

(未经同意,请勿转载)