在参议院就互联网上的人工智能选择内容作证

优化参与:理解互联网平台上说服性技术的使用

邀请到华盛顿

三周半前我收到一封邮件问我是否愿意在听证会上作证美国参议院商务委员会通信、技术、创新和互联网小组委员会.鉴于这个题目听力是“优化参与:理解说服性技术在互联网平台上的使用”我不确定为什么我是相关的。

但邮件接着写道:“听证会的目的之一是检查算法透明度或算法解释是否是国会应该考虑的政策选项。”这引起了我的兴趣,因为,是的,我想过“算法透明度”和“算法的解释”,它们的意义用于人工智能的部署。

一般来说,我远离任何与政治有关的事情。但弄清楚世界应该如何与人工智能互动是非常重要的。所以我决定——即使它是后勤上有点困难-我应该履行公民义务,去华盛顿作证。

关注参议院听证会:
优化参与:理解互联网平台上说服性技术的使用»

理解的问题

那么听证会的真正目的是什么呢?对我来说,这在很大程度上是对意识到,是的,人工智能开始运行世界的早期反应。数以亿计的人正在被喂给他们的内容基本上是由人工智能为他们选择的,这是越来越多的担忧,几乎每天都有媒体报道。

人工智能是否巧妙地入侵我们人类,让我们以某种方式行事?相对于世界是什么样的,或者我们认为世界应该是什么样的,认可机构有什么样的偏见?AIs优化的目的是什么?什么时候真的有“幕后的人”,详细控制人工智能在做什么?

在某种意义上,人工智能获得了比它们可能获得的更多的自由,这并没有帮助,因为使用它们的人并不是它们的真正客户。我不得不说互联网是年轻的时候,我从没想过会这样,但在当今世界上许多最成功的企业internet-including谷歌、Facebook、YouTube和Twitter-make收入不是来自他们的用户,而是从广告商正在经历他们达到他们的用户。

所有这些业务都有一个共同点,那就是从根本上来说,它们都可以被称为“自动内容选择业务”:他们的工作方式是获取大量不是他们自己生成的内容,然后使用相当于人工智能的东西来自动选择要传递什么内容,或者在任何给定时间根据他们捕获的关于用户的数据向任何特定用户提供建议。一方面是为了给用户提供良好的体验,另一方面是为了从实际用户(如广告商)那里获得收益。也有越来越多的人怀疑人工智能在它所做的事情上有偏见——可能是因为有人明确地让它这样做,或者因为它以某种方式进化而来。

“打开人工智能”?

所以为什么不“打开人工智能”,看看它在里面做什么呢?这就是听证会邀请中提到的算法透明度的原因。

问题是,不,这行不通。如果我们真的想要使用计算的力量——和人工智能——那是不可避免的不会是一个“人类可以解释的”故事关于里面发生的事情。

所以,好吧,如果你不能检查AI内部发生了什么,那么如何限制AI的行为呢?要做到这一点,你得说出你想要什么。你想要什么样的规则来平衡对立的观点?你在多大程度上允许人们因他们所看到的而感到不安?等等。

这里有两个问题:第一,想要什么,第二,如何描述它。在过去,我们能想象的描述这种事情的唯一方式是用传统的法律规则,用法律术语写的。但如果我们想让人工智能自动遵循这些规则,也许是每秒数十亿次,那还不够好:相反,我们需要一些人工智能能从本质上理解的东西。

至少在这一点上,我们取得良好进展.因为,多亏了我们30多年的工作Wolfram语言-我们现在开始计算语言有制定的余地”计算合同“它可以用计算的术语,以一种人类可以书写和理解、机器可以自动解释的形式,指定相关类型的约束。”

但是,即使我们开始有了工具,仍然有一个巨大的问题,即自动内容选择ai的“计算法则”将是什么。

很多听证会最终围绕着1996年通信规范法案第230条——它规定了公司可以选择屏蔽哪些内容,同时又不会失去“中立平台”的地位。有一个不容争议的可屏蔽内容列表。但是句子以“或其他令人反感的内容”结尾。这意味着什么?它是指支持反对观点的内容吗?谁对“令人反感”的定义?等。

好吧,有一天第230节意志,必然不是法律术语的法律,而是计算的法律。会有一些计算语言指定例如,在互联网样本上训练的这个或那个机器学习分类器将被用来定义这个或那个。

然而,我们还没有做到这一点。我们才刚刚开始能够建立计算合同对于更简单的事情,比如商业情况。而且有些由于区块链-我预计这将在未来几年加速。但在美国参议院例行辩论计算法则中的代码行之前,还需要一段时间。

那么,现在可以做些什么呢?

可能的前进道路?

一个多星期前,我发现的基本上就是我在这里已经描述过的。但这意味着我要去听证会,基本上只说负面的东西。“对不起,这行不通。你不能这么做。科学告诉我们这是不可能的。解决方案要在数年后才能揭晓。”等。

而且,作为一个以把看似不可能的事情变成可能而自豪的人,这让我很不舒服。所以我决定,我最好试着弄清楚,我是否真的能看到一条务实的、短期的前进道路。起初,我试着思考纯技术解决方案。但很快,我基本上说服了自己,这样的解决方案是行不通的。

所以,带着一些沉默,我决定我最好开始思考其他类型的解决方案。幸运的是,在我的公司和我的圈子里,有不少人我可以和他们谈谈这个问题——尽管我很快发现他们的观点经常有强烈的冲突。但过了一会儿,一个念头闪现了出来。

为什么自动化内容选择的每一个方面都必须由单个企业完成?为什么不打开管道,创建一个用户可以自己选择的市场?

我给自己施加的一个限制是,我的解决方案不能从目前自动化内容选择业务的令人印象深刻的工程和货币化上减损。但我想到了至少两种可能的方法来解决问题,我认为它们仍然可以很好地满足这个限制。

我的想法之一是引入我所谓的“最终排名提供者”:第三方从底层内容平台获取预先消化的特征向量,然后用它们以任何他们想要的方式对项目进行最终排名。我的其他想法包括引入“约束提供者”:以计算契约的形式提供约束的第三方,这些约束被插入到自动化内容选择系统的机器学习循环中。

这两种解决方案的重要特征是,用户不必相信自动内容选择业务的单一AI。实际上,他们可以选择自己品牌的人工智能——由他们信任的第三方提供——来决定他们实际上会得到什么内容。

这些第三方供应商是谁?他们可能是现有的媒体组织,或非营利组织,或初创企业。或者它们可能是全新的东西。他们必须有一些复杂的技术。但从根本上说,他们需要做的是定义——或代表——用户信任的品牌,来决定他们的新闻推送、视频推荐、搜索结果或其他内容的最终列表。

社交网络之所以有用,是因为它是一个整体:“每个人”都与之相连。但关键是,网络可以作为一个整体发展,但不需要只有一个整体的人工智能来为网络上的所有用户选择内容。相反,可以有一个完整的AIs市场,用户可以自由选择。

另外还有一件重要的事情:在如何为用户选择内容的最终细节上,目前还没有持续的市场压力,尤其是因为用户不是最终用户。(事实上,目前唯一的压力几乎来自公关爆发和事件。)但如果生态系统发生变化,第三方的唯一目的是服务用户,并提供他们想要的最终内容,那么就会开始有真正的市场力量来推动创新,并有可能增加更多的价值。

会工作吗?

人工智能为自动化做事提供了强大的方法。但人工智能是自己的不能最终决定自己想做什么.这必须来自外部——来自人类定义目标。但在实际层面上,这些目标应该设定在哪里?他们是否应该完全来自自动内容选择业务?还是用户应该有更多的自由和选择?

有人可能会说:“为什么不让每个用户自己设置一切呢?”问题是,自动内容选择是一个复杂的问题。尽管我希望很快就能普及计算语言素养-我认为让每个人都能自己安排好每件事的细节是不现实的。因此,我认为更好的主意是有独立的第三方供应商,他们以一种吸引特定用户群体的方式来设置内容。

然后标准的市场力量就可以发挥作用了。毫无疑问,这样做的结果将是向需要内容的用户传递内容(并将其货币化)取得更大的整体成功。但这种市场方法也解决了与单点故障单片人工智能相关的其他一些问题。

例如,对于单片AI,如果有人想出了如何传播一些糟糕内容,它就会到处传播。有了第三方供应商,它很有可能只会在其中一些供应商中传播开来。

现在,人们对某些内容平台“禁止”用户感到很不高兴。但在第三方供应商的市场中,禁令不再是一个要么全有要么全无的命题:一些供应商可以禁止某些人,但其他供应商可能不会。

好的,但是我的想法有“致命缺陷”吗?人们可能会反对这在技术上很难做到。我不知道主要的自动内容选择业务中的代码库状态。但我确信,通过可控的努力,可以建立适当的API等。(它甚至可以通过强制进行一些代码清理和现代化来帮助这些企业。)

另一个问题可能是:如何激励第三方供应商?我可以想象一些组织只是作为公共服务的第三方提供者。但在其他情况下,他们必须从基础内容平台获得佣金。然而,理论上,第三方内容提供商的好作品将扩大整个市场,并使他们“值得他们的佣金”。此外,当然,潜在的内容平台可以节省很多,因为它们不必处理所有这些抱怨和问题。

如果有第三方提供商对一些人不喜欢的内容进行升级怎么办?这无疑会发生。但关键是,这是一个市场,因此市场动态可以运作。

另一个反对意见是,我的观点使情况变得更糟,现代技术使人们生活在“内容泡沫”中,他们永远不会拓宽自己的观点。当然,也有提供更广泛内容的提供商。但人们可以选择“内容泡沫”提供商。不过,好的一面是,他们选择了这些频道,而且他们知道自己在这么做,就像他们知道自己选择了一个电视频道而不是另一个。

当然,对于社会的运作来说,人们有某种程度的共同价值观是很重要的。但是,这些共同的价值观应该是什么?应该由谁来决定这些价值观?在极权主义体系中,它基本上是政府。现在,在自动化内容选择的单一状态下,有人可能会说这是自动化内容选择业务。

如果我经营其中一家企业,我肯定不想被设置为世界的道德仲裁者;这似乎是一个无利可图的角色。有了第三方提供商的想法,就有了一条出路,而不会损害业务的生存能力。是的,考虑到用户是业务运作的动力,用户可以获得更多的控制权,这可以说是他们应该拥有的。但核心业务模式仍然完好无损。还有一个新的市场,为第三方提供商打开,可能带来各种新的经济价值。

我该怎么办?

上周末刚开始的时候,我所描述的基本上就是我的思维状态。但我该怎么处理它呢?是不是有什么问题我没注意到?我是不是掉进了政治或商业的陷阱?我不确定。但似乎在这个领域需要一些想法,我有一个想法,所以我真的应该告诉人们。

因此,我很快写下了听证会的书面证词,并在周日上午的截止日期前提交了(证词的全文包含在本文末尾)

新利app怎么样史蒂芬·沃尔夫勒姆的书面证词

听力本身

参议院的观点

今天早上是听证会。就在去年秋天马克·扎克伯格(Mark Zuckerberg)举行听证会的同一间屋子里。工作人员说,他们预计会有很多参议员出席,在小组委员会的24名参议员(参议院100名参议员)中,他们预计会有15人左右出席。

一开始,工作人员还在为参议员们张贴名牌。我想弄明白是怎么回事。然后我意识到!它是一个马蹄形的结构,共和党参议员站在马蹄形的右边,民主党参议员站在左边。真的有左翼和右翼!(是的,我显然看C-SPAN不够多,否则我早就知道了。)

当我们四个人在小组中被定位时,一位参议员(Marsha Blackburn[R-TN])走了过来,开始谈论计算不可约性。哇,我想,这会很有趣。这是一个很难进入参议院的科学概念。

每个人都有五分钟的开场白时间,每个人面前都有一个小小的倒计时计时器。我讲了一些关于人工智能和可解释性的科学技术。我提到了计算合同和AI章程的概念。然后我说,我不想只是解释说,一切都是不可能的,并简要总结了我的解决方案。对我来说,这是不寻常的,我在我的时间结束前整整一分钟就结束了。

发言和提问的形式是每位参议员五分钟。提出的问题非常多样化。然而,我很快意识到,不幸的是,我实际上有三种不同的东西在谈论(不可解释性、计算定律和我的短期解决方案)。回想起来,也许我应该专注于近期的解决方案,但强调我上周才想到的东西,而不是我思考了多年的东西,感觉有点奇怪。

尽管如此,它还是很吸引人的——也是未来事情的征兆——参议院正在讨论的计算哲学的严肃问题。公平地说,我做了一个2003年参议院的小型听证会(我唯一的类似经历)一种新的科学.但当时,它很大程度上是在“科学的轨道上”;现在整个讨论显然是主流的。

我禁不住想,我正在目睹计算概念开始成熟。曾经是计算理论中的深奥问题现在开始成为参议员们讨论制定法律的话题。其中一位参议员提到原子能,并将其与人工智能进行了比较。但事实上,人工智能将成为人类未来的核心。

它使我们能够做很多事情。但它迫使我们面对我们想做的事,我们想成为什么样的人。今天,参议院讨论人工智能问题是非常罕见的。假以时日,我怀疑人工智能及其诸多后果将成为许多参议院讨论的主导主题。这仅仅是个开始。

我希望我们已经准备好开始创建一个AI宪法.但我们不是(而且我们没有一个模拟人类几千年政治历史的人工智能,而当美国宪法起草时,人工智能可以作为指导)。尽管如此,我还是怀疑我们会越来越接近有一个连贯的人工智能宪法成为必要的点。毫无疑问,在不同的社区和不同的国家会有不同的人。但总有一天,像我今天看到的这个团队——包括各种各样、有时甚至是色彩斑斓的角色——将不得不弄清楚我们人类是如何与人工智能和计算机世界互动的。


书面证词

下载

总结

互联网企业的自动内容选择已经变得越来越有争议,这导致了要求其更加透明或更加受限的呼声。我会解释其中涉及的一些复杂的知识和科学问题,然后为未来的发展道路提供两种可能的技术和市场建议。两者都是基于给用户一个选择,让他们在看到最终内容时相信谁——一种情况是引入我称之为“最终排名提供商”,另一种情况是我称之为“约束提供商”。

问题的本质

有许多类型的企业在互联网上运营,但其中一些最大和最成功的是人们可以称之为自动内容选择业务.Facebook、Twitter、YouTube和谷歌都是例子。他们交付其他人创建的内容,但它们的价值的一个关键部分是与能力(主要)自动选择什么内容应该成为给定用户在给定时间在新闻提要,建议,web搜索结果或广告。

使用什么标准来确定内容选择?当然,向用户提供良好的服务也是一个原因。但这些企业的付费客户不是用户,而是广告商,这些企业的一个关键目标必须是最大化广告收入。越来越多的人担心,这一目标可能会对用户的内容选择产生不可接受的后果。此外,人们还担心,通过对内容的选择,相关公司可能会对其他类型的业务(如新闻传递)或政治等领域施加不合理的影响。

近年来,内容选择的方法——使用机器学习、人工智能等——变得越来越复杂。它们的有效性和经济上的成功,很大程度上来自于它们能够利用有关用户及其先前活动的广泛数据。但人们对内容选择过程中发生的事情越来越不满,在某些情况下,甚至是怀疑。

这导致了让内容选择更加透明的愿望,也许还会限制内容选择的工作方式。正如我将解释的那样,这些都不是很容易以有用的方式实现的。事实上,它们遇到了深刻的智力和科学问题,在某种程度上,这些问题预示着随着人工智能在我们所做的事情中变得越来越重要,我们将会遇到更广泛的问题。令人满意的最终解决方案将很难开发,但我将在这里提出两种短期的实际方法,我认为它们将显著解决当前的问题。

自动化内容选择是如何工作的

无论你是在处理视频、帖子、网页、新闻项目还是广告,自动内容选择(ACS)的潜在问题基本上总是一样的。有许多可用的内容项(可能甚至有数十亿个),人们必须以某种方式快速决定在给定的时间向给定的用户显示哪些内容是“最好的”。并没有什么基本原则来定义“最佳”的含义,但从操作上来说,它通常是以用户点击或点击收益最大化来定义的。

使现代ACS系统成为可能的主要创新是从大量实例中自动推断的想法。技术已经发展了,但基本思想是有效地推断示例的模型,然后使用该模型进行预测,例如,对给定用户来说,什么商品的排名是最好的。

因为这与我稍后将提出的建议相关,所以让我在这里多解释一下目前大多数ACS系统在实践中是如何工作的。起始点通常是为每个项目提取可能有数百或数千个特征(或“信号”)的集合。如果一个人在做这件事,他们可能会使用这样的特征:“视频有多长?”是娱乐还是教育?是快乐还是悲伤?”但如今,由于涉及到大量的数据,这是一台机器在做这件事,而且常常也是一台机器在计算要提取什么特征。通常情况下,机器将优化功能,使其最终任务更容易——无论(几乎总是没有)是否有一个人类可以理解的解释的功能代表什么。

例如,以下是由机器自动排列在“特征空间”中的字母,“看起来相似”的字母就出现在附近:

特征空间的情节

机器如何知道要提取什么特征来确定事物是否“看起来相似”?一个典型的方法是给它数以百万计的带有标签的图像(“大象”,“茶杯”,等等)。然后,通过观察哪些图像被标记为相同的(尽管它们在细节上看起来不同),机器能够使用现代机器学习的方法来识别特征,这些特征可以用来确定任何图像的相似程度。

好了,让我们想象一下,不是在二维特征空间中排列的字母,而是在200维特征空间中排列的一百万个视频。如果我们有正确的特征,那么相似的视频应该在特征空间附近。

但对于一个特定的人,他们可能想看什么视频?我们可以对人做同样的事情,就像对视频一样:我们可以提取我们所知道的每个人的数据,并提取出一些特征。“相似的人”就会在“人物特征空间”附近,以此类推。

但现在有一个“最终排名”的问题。鉴于视频的特点,以及人们的特点,哪些视频应该对哪些人进行“最佳”排名?在实践中,通常会有一个初步的粗略排名。但是,一旦我们有了“最佳”的具体定义,或者有足够的例子来说明“最佳”的含义-我们可以使用机器学习来学习一个程序,该程序将查看视频和人物的特征,并将有效地了解如何使用它们来优化最终排名。

在不同的情况下,设置略有不同,并且有许多细节,其中大多数是特定公司专有的。然而,现代的ACS系统——处理海量数据的速度非常快——是工程学的胜利,也是人工智能技术力量的杰出例证。

它“只是一个算法”吗?

当人们听到“算法”这个词时,人们往往会想到一个程序,它将以精确和逻辑的方式运行,总是给出正确的答案,而不受人类输入的影响。人们也倾向于认为一些由明确定义的步骤组成的东西,如果需要,人类可以随时跟踪。

但这与现代ACS系统的工作原理相去甚远。它们不会处理同样的精确问题(“我接下来应该看什么视频?”只是没有一个精确的、定义明确的答案)。而实际涉及的方法基本使用了机器学习,它没有那种定义明确的结构或可解释的循序渐进的特征,这与人们传统上认为的“算法”有关。还有一件事:传统算法往往是小型和独立的,但机器学习不可避免地需要大量外部提供的数据。

在过去,计算机程序几乎完全是由人类直接编写的(在我自己的科学工作中有一些明显的例外)。但机器学习的关键思想是通过从大量的例子中“学习程序”,自动创建程序。最常见的应用机器学习的程序类型是所谓的神经网络。虽然最初的灵感来自大脑,神经网络是纯粹的计算结构,通常由称为权值的大量数字数组定义。

想象一下,你正在构建一个程序,它可以识别猫和狗的图片。你从许多特定的图片开始,这些图片通常是由人类识别的,要么是猫,要么是狗。然后你通过向神经网络展示这些图片来“训练”神经网络,并逐渐调整其权重,使其能够正确识别这些图片。但关键是神经网络是泛化的。再给它一张猫的图片,即使它以前从未见过那张图片,它(几乎可以肯定)仍然会说那是一只猫。

如果你给它一张猫打扮成狗的照片,它会怎么做?现在还不清楚答案应该是什么。但是神经网络仍然会自信地给出一些结果——这些结果是以某种方式从它得到的训练数据中得到的。

那么在这种情况下,人们如何知道神经网络为什么会这样做呢?它是困难的。网络中所有的权重都是自动学习的;没有人明确设置它们。这很像从上面的字母图像中提取特征的情况。人们可以使用这些特征来判断哪些字母是相似的,但对于每个特征是什么,并没有“人为的解释”(比如“计算字母中的循环数”)。

有可能制作出一个可以解释的猫对狗程序吗?50年来,大多数人认为像猫对狗这样的问题不是计算机能够做的事情。但是现代机器学习通过学习程序而不是让人类明确地编写程序使之成为可能。因此,有一些根本原因可以解释假设没有一个可以解释的版本,如果一个人要做人们已经习惯的自动内容选择,那么他就不能期望它是可以解释的。

有时有人会说,自动内容选择只是“由算法完成的”,这意味着它在某种程度上是公平的、没有偏见的,不受人为操纵。正如我所解释的,实际使用的是机器学习方法,而不是传统的精确算法。

关于机器学习方法的一个关键点是,从本质上讲,它们是基于从例子中学习的。不可避免地,他们给出的结果取决于使用了什么例子。

这就是事情变得棘手的地方。想象我们在训练猫狗项目。但我们假设,不管出于什么原因,在我们的例子中有斑点狗,但没有斑点猫。如果节目中出现一只斑点猫,它会怎么做?它可能成功地识别出猫的形状,但很可能会根据斑点得出结论——它一定看到了一只狗。

那么有没有办法保证不会出现这样的问题,不管是有意还是无意的?最终答案是否定的,因为一个人不可能了解世界的一切。训练中缺少斑点猫是一个错误,还是世界上根本就没有斑点猫?

我们可以尽力找到正确和完整的训练数据。但人们永远无法证明自己已经成功了。

但是假设我们想要确定结果的某些性质。在几乎所有情况下,这都是完全可能的——要么修改训练集,要么修改神经网络。例如,如果我们想确保斑点猫没有被遗漏,我们可以坚持,比如说,我们的训练集有相同数量的斑点猫和无斑点猫。这可能不是真实世界的正确描述,但我们仍然可以选择在此基础上训练我们的神经网络。

另一个例子是,假设我们在选择宠物的照片。应该有多少只猫,而不是狗?我们应该根据网上猫狗图片的数量来判断吗?或者人们搜索猫和狗的频率是多少?或者有多少猫和狗在美国注册?没有终极的“正确答案”。但如果我们想,我们可以给出一个约束条件来说明应该发生什么。

这也不是传统意义上的真正的“算法”——不仅仅因为它不是关于抽象的东西;它是关于世界上真实的东西,比如猫和狗。但一个重要的发展(我个人参与了30多年)是计算机语言的构建,它可以让人们以一种精确的方式谈论世界上的事情,并且可以立即在计算机上运行。

在过去,像法律合同这样的东西必须用英语书写(或“法律术语”)。受到区块链智能合约的启发,我们现在可以用计算语言而不是人类语言编写自动可执行的计算合约。如果我们想要定义训练集的约束或者自动内容选择的结果,这就是我们可以做的。

基础科学问题

为什么很难找到与自动内容选择相关的问题的解决方案?除了所有的商业、社会和政治问题,也涉及一些基础科学的深层问题。以下是其中一些问题的清单。这些问题的先驱者可以追溯到近一个世纪以前,尽管直到最近(部分是通过我自己的工作)它们才得到澄清。虽然它们没有像我在这里那样被阐明(或命名),但我不认为它们在这一点上有任何争议——尽管与它们达成协议需要从没有现代计算思维的存在的直觉上进行重大转变。


数据可推断性

即使你不清楚某件事(比如某人),只要有足够的其他相关数据可用,它几乎总是可以从统计学上推断出来

一个人的性别认同、种族、政治信仰等是什么?即使不允许他明确地问这些问题,但基本上不可避免的是,有了足够的关于这个人的其他数据,他将能够推断出最好的答案。

每个人在细节上都不一样。但关键是,人与人之间有足够的共性和相关性,基本上是不可避免的,只要有足够的数据,就能弄清楚一个人的几乎任何属性。

这方面的基本数学方法已经从经典统计学中知道了。但现在这一切成为了现实,因为人们可以获得更多的数字形式的数据,以及现代机器学习的能力,不仅可以轻松处理数字数据,还可以处理文本和图像数据。

无处不在的数据演绎的结果是什么?这意味着阻止特定的数据是没有用的——比如试图避免偏差——因为基本上总是有可能推断出被阻止的数据是什么。这不仅仅是有意为之;在机器学习系统中,这通常会自动且无形地发生。


计算不可约性

即使给出了一个程序的每一个细节,也很难任意预测它会发生什么
或者不做

有人可能会想,如果一个人有一个程序的完整代码,他就可以很容易地推断出程序将要做什么。但一个基本事实是,一般情况下,我们不能这样做。给定一个特定的输入,人们总是可以运行程序,看看它做什么。但是,即使程序很简单,它的行为可能非常复杂,计算的不可约性意味着,不显式地运行程序,就不可能“跳过”并立即发现程序将做什么。

这样做的一个结果是,如果人们想知道,例如,一个程序是否可以用任何输入来做这样或那样的事情,那么可能没有有限的方法来确定这一点,因为人们可能必须检查无限多个可能的输入。作为一个实际问题,这就是为什么程序中的bug很难检测。但就原则而言,这意味着最终不可能完全验证一个程序是“正确的”,或具有某些特定属性。

在过去,软件工程经常试图限制它所处理的程序,以尽量减少这种影响。但有了机器学习这样的方法,这基本上是不可能做到的。结果是,即使它有一个完全自动化的内容选择程序,人们通常也无法验证,例如,它永远不会显示某些特定的不良行为。


Non-explainability

对于一个优化良好的计算,不太可能有一个人类可以理解的关于其内部工作原理的叙述

我们应该期望了解我们的技术系统内部是如何工作的吗?当像驴子这样的东西经常是这种系统的一部分时,人们并没有想到。但一旦这些系统开始用齿轮和杠杆等“完全设计”,就会产生一种假设,即至少在原则上,人们可以解释内部发生了什么。至少简单的软件系统也是如此。但对于像机器学习系统这样的东西,它绝对不是。

是的,原则上我们可以追踪程序中每一个数据位发生了什么。但是我们能否创造出一个人类可以理解的故事呢?这有点像想象我们可以追踪一个人大脑中每一个神经元的放电。我们或许能够预测一个人在特定情况下会做什么,但要得到关于他们为什么这么做的高层次“心理叙述”是另一回事。

在机器学习系统中——比如猫狗大战程序——人们可以把它想象成提取各种特征,并做出各种区分。偶尔,这些特征或区别之一可能是我们用一个词来形容的(比如,“指向”)。但大多数情况下,它们都是机器学习系统发现的东西,与我们熟悉的概念没有任何联系。

事实上,作为计算的不可简化性的一个结果,由于人类语言和人类知识的有限性,在任何良好优化的计算中,我们都无法给出一个高层次的描述来解释它在做什么,这基本上是不可避免的。这样做的结果是,我们不可能期望自动化内容选择系统有任何有用的通用“可解释性”形式。


道德不完备

没有一套有限的原则可以完全定义任何合理的、实用的伦理体系

比方说,有人试图向计算机或人工智能教授伦理学。是否有一些简单的原则,比如阿西莫夫的机器人法则,可以建立一个可行的完整的伦理体系?看看人类法律体系的复杂性,人们可能会怀疑答案是否定的。事实上,这大概是一个基本的结果,本质上是另一个计算不可约性的结果。

想象一下,我们正试图为人工智能定义约束(或“法律”),以确保人工智能以某种特定的“全球伦理”方式行事。我们设置了一些限制,我们发现人工智能做的很多事情都遵循我们的道德规范。但是计算的不可约性本质上保证了最终总会有一些意想不到的事情是可能的。解决这个问题的唯一方法就是添加一个“补丁”——本质上就是为这个新情况引入另一个约束条件。问题是,这种情况永远不会结束:我们不可能提供一套有限的约束条件来实现我们的全球目标。(在数学中有一个技术上的类比,Gödel的定理表明,没有一个有限的公理化约束集只能给出一个普通整数。)

因此,就我们这里的目的而言,主要的结果是,我们不能期望有一些有限的计算原则(或定律)来约束自动内容选择系统总是按照一些合理的,全球道德体系,因为它们总是会产生意想不到的新案例,我们必须定义一个新的原则来处理。


前进的道路

我已经描述了使用自动内容选择系统处理问题的一些复杂性。但在实践中我们能做些什么呢?

一个显而易见的想法就是以某种方式“查看”系统,审计它们的内部操作和结构。但出于基本和实际的原因,我不认为这是有益的。正如我已经讨论过的,为了实现用户已经习惯的那种功能,现代的自动内容选择系统使用了机器学习等方法,这些方法不符合人类水平的可解释性或系统的可预测性。

例如,检查一个系统是否在某种程度上有偏差呢?同样,这是一件很难确定的事情。给出了偏见的特定定义,人们可以查看用于系统的内部训练数据——但这通常不会提供比研究系统行为更多的信息。

看看这个系统是否被有意地设计成这样或那样呢?可以想象,源代码可以有显式的“if”语句来揭示意图。但系统的大部分将由训练过的神经网络等组成——而且在大多数其他复杂系统中,通常不可能判断哪些特征可能是“故意”插入的,哪些只是偶然或突发的特性。

所以,如果不能“深入”系统,那如何限制系统的建立呢?例如,有人建议的一种方法是限制系统的输入,在极端情况下,防止系统获取用户及其历史的任何个人信息。这样做的问题在于,它否定了内容选择系统多年来所取得的成就——无论是用户体验还是经济上的成功。例如,在不了解用户的情况下,如果你要推荐一个视频,你就只能推荐一般来说最受欢迎的视频——这很可能不是大多数用户在大多数时候想要的。

作为屏蔽所有个人信息的一种变体,可以想象只屏蔽一些信息,或者允许第三方代理提供哪些信息。但是,如果想要获得现代内容选择方法的优势,就必须留下大量的信息,那么屏蔽任何信息都没有意义,因为几乎可以肯定,通过数据演绎的现象,这些信息是可复制的。

这里有另一种方法:仅仅定义规则(以计算契约的形式)来指定内容选择系统可以产生的结果的约束怎么样?总有一天,我们会有这样的计算契约来定义我们想让人工智能做什么。由于道德上的不完整性——就像人类的法律一样——我们将不得不有一个不断扩大的此类契约的收集。

但是,尽管(特别是通过我自己的努力)我们已经开始有了一种必要的计算语言来指定广泛的计算契约,实际上,我们必须在标准业务和其他情况下获得更多的计算合同经验,然后才能尝试将它们设置为内容选择系统的全局约束这样复杂的东西。

那么,我们能做什么呢?我还没有找到一个可行的、纯技术的解决方案。但我在将技术理念与市场机制相结合的基础上,提出了两种可能的建议。

这两种建议的基本原则是让用户选择信任谁,并让他们看到的最终结果不一定完全由底层的ACS业务决定。

关于ACS企业是作为“平台”运营,或多或少地盲目传递内容,还是作为“发布者”运营,对所传递的内容负责,一直存在争议。这场辩论的一部分可以被看作是关于人工智能应该承担什么样的责任。但我的建议避开了这个问题,并以不同的方式梳理了“平台”和“发行商”的角色。

值得一提的是,由ACS大型企业建立的整个内容平台基础设施是一项令人印象深刻且非常有价值的工程——管理大量内容,有效地投放广告,等等。真正有争议的是,ACS系统的细节是否需要由同一家企业来处理,或者它们是否可以公开。(这只与ACS业务有关,因为它们的网络效应使它们能够服务于很大一部分人口。小型ACS企业没有这种锁定。)


建议A:允许用户在最终排名供应商中进行选择

建议一个

正如我前面所讨论的,一个典型的ACS系统如何工作的粗略概述是,为每个内容项和每个用户提取第一个特征。然后,基于这些功能,有一个最终的排名,决定什么将实际显示给用户,以什么顺序,等等。

我想说的是,最终的排名并不一定是由建立基础设施和提取功能的同一实体来完成的。相反,可以有一个单一的内容平台,但有各种各样的“最终排名供应商”,他们采用这些功能,然后使用他们自己的程序来实际提供最终排名。

不同的最终排名提供者可能会使用不同的方法,并强调不同种类的内容。但关键是让用户可以自由选择不同的提供商。一些用户可能更喜欢(或更信任)某个特定的供应商——它可能与某些现有品牌有关,也可能与某些现有品牌无关。其他用户可能更喜欢其他提供程序,或者选择查看多个提供程序的结果。

所有这些在技术上是如何实现的?底层内容平台(假定与现有的ACS业务相关)将承担派生提取特征的大规模信息处理任务。内容平台将提供足够的底层内容(和用户信息)示例及其提取的特性,以允许最终排名提供商的系统“了解”这些特性的含义。

当系统运行时,内容平台将实时地将提取的特征交付给最终排名的提供者,然后该提供者将这些特征提供给他们开发的任何系统(该系统可以使用他们选择的任何自动化或人工选择方法)。该系统将生成内容项目的排名,然后将这些排名反馈到内容平台,最终展示给用户。

为了避免将用户私人信息泄露给许多不同的提供商,最终排名提供商的系统应该运行在内容平台的基础设施上。内容平台将负责整体用户体验,大概提供某种选择器来挑选最终排名供应商。内容平台还将负责针对选定内容投放广告。

据推测,内容平台会给最终排名的提供商一笔佣金。如果设置得当,最终排名供应商之间的竞争实际上可以增加整个ACS业务的总收入,因为它实现了自动内容选择,更好地为用户和广告商服务。

建议B:允许用户在约束提供者中进行选择

建议B

建议A的一个特点是,它将ACS业务分成内容平台组件和最终排名组件。(然而,人们仍然可以想象,ACS业务的准独立部分可能是竞争的最终排名供应商之一。)另一种建议是保持ACS业务的完整,但对其产生的结果加以限制,例如强制某些类型的平衡,等等。

就像最终排名提供者一样,也有定义约束集的约束提供者。例如,约束提供者可能要求平均有相等数量的物品交付给用户,这些物品被分类为政治左倾或政治右倾(比如,由特定的机器学习系统分类)。

约束提供者将有效地定义关于他们希望交付给用户的结果具有的属性的计算契约。不同的约束提供者会定义不同的计算契约。有些人可能想要平衡;其他人可能希望推广特定类型的内容,等等。但其想法是,用户可以决定他们希望使用什么约束提供者。

约束提供者如何与ACS业务交互?这比建议A中的最终排名提供者要复杂得多,因为实际上来自约束提供者的约束必须深入到ACS系统的基本操作中。

一种可能的方法是使用ACS系统的机器学习特性,并插入约束作为系统的“学习目标”(或技术上的“损失函数”)的一部分。当然,也可能存在无法成功学习的约束条件(例如,它们可能需要一些根本不存在的内容类型)。但是会有很多可接受的约束,实际上,对于每一个,都会建立一个不同的ACS系统。

然后,所有这些ACS系统将由底层ACS业务操作,由用户选择他们想要使用的约束提供者(因此也就是整个ACS系统)。

与建议A一样,基础ACS业务将负责提供广告,并向约束提供商支付佣金。


虽然它们的详细机制不同,但建议A和B都试图利用ACS业务的卓越工程和商业成就,同时消除目前关于内容选择的信任问题,为用户提供更大的自由,并插入新的市场增长机会。

这些建议也有助于解决其他一些问题。一个例子是禁止内容提供商。目前,随着ACS企业感到对其平台上的内容负责,存在相当大的压力,尤其是来自ACS企业内部的压力,要求禁止他们认为提供不适当内容的内容提供商。这些建议分散了对内容的责任,潜在地允许ACS的底层业务除了明确的非法内容外不禁止任何东西。

然后由最终排名提供者或约束提供者来选择是否提供或允许特定角色或特定内容提供者的内容。在任何情况下,一些公司可能会提供或允许它,而一些公司可能不会,这就消除了ACS企业目前所做的所有或没有禁令的困难性质。

我的建议的一个特点是,它们允许根据不同的偏好将用户分成不同的组。目前,某一特定ACS业务的所有用户所拥有的内容基本上是以相同的方式选择的。有了我的建议,不同劝说的用户可能会以不同的方式收到完全不同的内容。

虽然像这样的分裂似乎是人类社会的普遍趋势,但有些人可能会辩称,让人们经常接触他人的观点,对社会的凝聚力很重要。从技术上讲,这种方法并不难实现。例如,我们可以使用最终的排名或约束提供者,并有效地生成它们所做的功能空间图。

有些会被聚在一起,因为它们会导致相似的结果。其他的则在特征空间上相差很远——实际上代表了非常不同的观点。然后,如果有人想在80%的时间里看到他们的典型内容,但在20%的时间里看到不同的观点,那么系统就可以以一定的概率从特征空间的不同部分组合不同的提供者。

当然,在所有这些问题中,完整的技术故事要复杂得多。但我有信心,如果它们被认为是可取的,我所提出的任何建议都可以在实践中得到实施。(建议A可能比建议b更容易实施)我相信,其结果将是内容更加丰富,更加可信,甚至更加广泛地使用自动内容选择。实际上,我的建议混合了人工智能和人工智能的功能——帮助两者发挥最佳作用——并通过使用自动内容选择来导航复杂的实际和基本问题。

5个评论

  1. 可以说选项B比选项A更容易实现,因为它可能只是现有ACS建议之上的一个额外过滤。目前ACS唯一需要做的事情是,以允许受限制的第三方访问她的数据的形式,将用户想要的内容过滤的控制权交给用户。对于选项A,当然需要在内容系统和排名提供商之间建立一些联合学习设置,这样培训排名系统所需要的用户数据就不会泄露。

    Nikolay米
  2. 关于杠铃策略的观点很好(比如:“如果有人想在80%的时间里看到他们的典型内容,但在20%的时间里看到不同的观点”)!

    马克西米利安Hirner
  3. 早在80年代早期,我在NewsPeek中使用的“算法”是基于4种选择机制:(1)自动提取特征与用户之前阅读过的文章中的特征进行匹配的原始版本;(2)用户明确选择主题的文章;(3)朋友推荐的文章;(4)由真人编辑选择的文章,例如,把《纽约时报》编辑认为值得刊登的文章都给我。AI系统似乎采用了第1、2和3点,但基本上抛弃了第4点,尽管它可以在你的“选项B”中建模。

    我们可以做的另一件事是提供一些人为的观点。沃伦·萨克(Warren Sack)在90年代中期有一个简单但相当准确的POV探测器:谁有发言权,使用了哪些限定词(“自由战士”vs“恐怖分子”),其他一些可以放在选项B中的东西。

    沃尔特·本德
  4. 一如既往地让人耳目一新,尤其是最终排名的多重选择。Jigsaw的Perspective API似乎是朝这个方向迈出的一步,但只是半步。它们生成一个毒性指数来过滤最终排名,而完整的步骤将是一个病毒式传播指数。

  5. 人类必须始终参与其中。总是需要一个关闭开关。道德很重要,尽管你这么说,但我相信它可以通过统计数据来体现——年龄、病史、个人情况等。没有借口。如果该平台被有组织犯罪滥用,它还需要一种方法来警告当局。总要有办法让当局发现任何犯罪行为。哪里有赚钱的能力,哪里就会有腐败,这需要考虑。它需要有一定的问责制,网络面纱需要像企业面纱一样被揭开。组织不应该隐藏在一个算法后面,以逃避他们的法律义务和义务,如歧视,剥削,人口贩卖等。白领犯罪正在发展,你的法律基础也需要发展。

    桑德拉DIDOMIZIO
Baidu