我一直习惯于从不同侧面来提供思考角度,这次也想提一个容易被忽略的点:演化。

科学技术给人类带来的好处无可争议,没有科学技术的话,不管过几千年,我们始终都会使用相同的工具,恐怕也未必能繁衍至今。

机械化大农场和流水线让我们的食物空前丰富,在超市可以买到各式各样的食物。

方便吗?多方便啊。于是我们也有了在过去不曾是问题的问题:肥胖、高血压、高血脂、高血糖等各式各样的物理健康隐患。也因此不得不:每天健身运动、注意饮食健康、控制热量摄取等措施。

食物与肥胖

@微调 的答案中所提游戏娱乐业的沉浸式体验给我们带来精神愉悦是真真切切的。

有趣吗?多有趣啊。于是我也看到了在未来将变成问题的问题:记忆减弱、认知衰退、欲望低下、抑郁症等各式各样的精神健康隐患。恐怕也不得不:每天练习算数、背诵古诗、拼图等措施。

智力康复训练

既方便又有趣,那矛盾到底出在哪里?

很多人都忘记了,人类也是进化出来的生物,所有生理特性都是为了适应当前环境而产生的。如今我们面临的问题是:科技造成的环境变迁速度已远远超越我们生理特性的适应速度

肥胖现在被视为疾病?过去遇到食物不吃的早就死掉了。只是科技的发达让我们经历了从未有过的物质丰富时代。

不爱学习有负罪感?我们在儿童时代最喜欢学习,因为需要快速构建可以预测世界的模型。成年后的我们不会轻易更新模型,抵触新理论,但这是进化出的保护机制。试想如果别人说什么都信,那不会不被坑的倾家荡产?想想被骗子专门针对的老人们。成年后的我们从本性上就是抵触学习的,是高速的环境变化使得我们不得不终身学习。

这周回国我也被老妈催婚了,老人所处的环境让他们觉得临近三十还不结婚就了不得了。老人没有错,大家也都清楚高龄生子的风险,但如今的时代真的允许我们按照过去的模式生活吗?

恐怕很多人也会感激游戏娱乐给自己带来的快乐,没有人质疑娱乐给我们带来的快乐,交互设计给我们带来的方便和沉浸体验,但演化的筛选机制是能否生存,而非是否快乐,快乐可以使人们拥有想要达成某个任务的动力,每次达成之后,下一次的快乐阈值会提高,以确保我们不断前进。所以我们注定无法永远快乐。感激娱乐的人们可以问问自己,是否每次娱乐过后都是无法抵御的空虚,而为了填补这个空虚的自己是否在需求更多的刺激,而求得之后又是更大的空虚。进化出的身体就是为了应对没有那么方便,没有那么傻瓜的情况。从这个视角来思考的话,这些「方便」真的是方便吗?我们难道没有付出代价来应对这种「矫枉过正」的方便吗?

抑郁症在未来将是头号杀手,谁都没有想到,物质生活如此丰富的今天,我们居然会面对「失去意义」的问题。高薪不再具有吸引力,每个人都需要被赋予自我社会价值,需要感觉到自己是团体的一部分,有人在意自己,我想这也是年轻人可以毫不犹豫的辞职的原因。

解决方案?我不知道。我是一个对未来充满乐观的人,可面对该问题,我却像面对熵增原理一样感到束手无策。市面上已经针对这些不适应产生了一系列的服务:帮助减肥,帮助克服拖延症,甚至强制帮助控制使用手机时间。有用吗?可以说,只要不调整环境,基本无效,仅仅是买了一味心理安慰剂。我们也无法确保这些解决问题的服务不会从「屠龙勇士变成恶龙」。这些特性太容易被控制了,我们难道不也是利用「食欲」来「逗」宠物狗、来养鸡鸭牛羊猪等牲畜吗?

我们所进化出的身体从来没有见过今天科技给我们带来的改变,我们的身体根本没有辨别和拒绝这些诱惑的能力,这也是为什么我们进化出了新大脑皮层,问题是出在对新环境的适应性上,而它是目前我们唯一还能够调动的适应性了。


科技伦理难题(Moral dilemma of new technology)。

应该任由新型科技调整甚至主导我们的道德理念,还是在思想层面没有达标的前提下潜龙勿用,抑或在此间左右逢源呢?

这是一个极其宏大的命题,我们不妨先收窄视角,从自动驾驶这个方向切入。

让我们试想一下下面的这幅场景(视频来自https://www.youtube.com/watch?v=ixIoDYVfKA0):

在智能自驾(AI pilot)的时代,马路上的一辆轿车被卷入了紧急状况之中:

前方卡车上重物不可避免地坠下,而此时车内人员面临的情况是:刹车已经来不及阻止碰撞。

这时候他们面临的抉择是:1)直线撞击重物;2)左拐撞击一辆SUV;3)右拐撞击一辆摩托;

那么AI的选择是=「车内人员安全优先,撞击摩托并导致其驾驶员受伤甚或死亡」or「车外人员安全优先,直线撞击前方重物使车内人员受伤甚或死亡」or「权弊衡利,撞击安全系数更高的SUV」

如果是手动挡驾驶,人们的决定是基于应激反应,而不是机关算尽的深思熟虑。人们应急的行为来源于恐惧的本能,而不是前瞻的洞见或者怀揣的恶意。

但如果AI的核心演算法是由编程人员基于未来可能的特定情况而输入的,那么这其中散发著蓄意的味道。正面来看,无人/自动驾驶汽车可以减少交通状况中的人为失误,从而达到大幅降低事故与伤亡率的目的。另外,无人驾驶的好处还有:交通便捷顺畅、降低有害物质排放、最小化低效且高压的驾驶时间。但事故仍然会发生,并且这样的结果可能在数月或者数年前程序编撰或者政策制定时就被埋下了。因此,程序员以及行政管理人员将面临选择的艰难境地。

事实上,搭建机器选择的总体演算法框架,例如最小化伤害,令人跃跃欲试,但即便如此也还是会引发触碰道德灰色地带的选择。

举个栗子,让我们回到初始的设定,只不过这时左侧更换为一名佩戴头盔的摩托员,右侧则并没有佩戴。这时,这辆无人驾驶轿车将会选择如何碰撞?

如果你选择碰撞佩戴头盔者,因为她生存的几率更高,那么客观上,你是否在惩罚一名守法的驾驶员呢?

相反,如果你选择右侧那位并未佩戴头盔的摩托骑士,就是因为他违反规定,那么此选择已经远远偏离了最初的危害最小化设计原则,这个AI更接近于实施道路正义。

于斯,伦理的考量将变得更加棘手。在两种情形下,潜在的设计法则是以某种靶向演算法实施出来。换句话说,这种设计在实施撞击上系统化地好恶某一特定对象。而被选机车的驾驶员将会承受这种演算法的负面结果,尽管他们并没有实然性错误。

新型科技的出现会衍生出其他许多新式的伦理困境。比如,如果你必须在一辆以群体存活率最大化与一辆不计选择保全其驾驶员生命的智能汽车中选择,你会如何作?

如果这些车辆开始自我分析并考量自身的驾驶员们的各种细节,又将会如何?

这是否意味著一个随机的选择仍然优于最小化伤害导向的预定选择?

最终又会是哪些人来制定这些选择?程序员、公司还是政府?

先且不急,我们不妨看一则调查。


无独有偶,最近《Nature》发布了一篇文章,题目叫做「The Moral Machine experiment」,获取地址:The Moral Machine experiment

在这篇报告中,麻省理工学院、哈佛大学、英属哥伦比亚大学以及图卢兹大学的研究团队呕心沥血,驱动世界各地多达230万志愿者共思维演绎了4000万种有轨电车难题(https://people.howstuffworks.com/trolley-problem.htm)的自动驾驶版本情形,一份份决定生死大权的电子答案雪片般飞向终端电脑。

a) 道德机器参与者所属地区的全球覆盖图。每一个点代表这个区域至少有一人作过一个选择(n=3960万);b)道德机器参与界面图。一辆自动驾驶机车突然刹车失灵,保持路线会导致正在闯红灯的三位老人(二男一女)死亡。变道则会导致车内三名乘客(成年男、成年女、小男孩)丧生。

当自动驾驶车辆疾驰而向人行道上的行人时,你会选择变道还是撞向特定的人群?当然,变道的风险是可能撞向一块坚硬的路障,引发车内乘客伤亡。这些受害者们有不同的人数、不同的性别、不同的年龄以及其他不同的特征之分,他们时而可能是拄拐散步的老人,时而可能又会变为推著婴儿车的妇女,时而可能变成携带现金的窃贼,时而可能又是守规或者违规的人行道路人。甚至,小猫小狗也放入了选项之中。与电车难题相比,这些情形不存在时间压力,所以你可以很充足地权衡两种选择。

在统计学结果上,志愿者们都明显倾向于救人超过宠物、多人超过单人、孩童超过成年、守法行人超过乱穿马路者、衣冠楚楚的公务人员超过衣衫褴褛的乞讨人员。但同时,志愿者只会适度倾向于女性超过男性、行人超过乘客、体态轻匀的慢跑者超过大号体格的路人。司机们变道与保持路线的可能性相当。

全球化倾向。a)每一行中,ΔP表示右侧行动的概率与左侧行动的概率差值。比如,对于年龄这个因子,放过年轻人的概率比放过老年人概率高出0.49;b)相比于一位成年男性或者女性,每个角色的相对优势与劣势。对于每个角色, ΔP表示放这个角色(单独出现)的概率与放过一位成年男性或者女性的概率差值。

上面的这份统计中,考虑到样本的量级(n=3520万),95%的均值置信区间被省去。在上图b中,可以明显看到具有被拯救偏向的四个群体:婴儿、小男孩、小女孩以及孕妇。

不仅如此,研究者们还考察了文化集群因素的影响,他们收集了130个国家与地区内平均超过100名回答者的数据,并根据主要的文化特征将这些地理区域划分为三块:西方国群(主要是北美与欧洲的大部分国家)、东方国群(中国、日本、韩国、印尼等亚洲国家)以及南方国群(中部与南部美洲地区)。偏好倾向如下图所示:

a)以平均边际因果效应为基础的国别分层聚类。树状图中分支的三个不同颜色代表了三大国群:西方、东方和南方;b)三大国群就9种因子平均因果边际效应得分的雷达图

从上图可以明显看到倾向区别,举个栗子,南方国群的国家居民们比其他两个国群在拯救倾向上明显地偏向妇女、年轻人、高社会地位人群,在人类 vs 宠物的人类拯救倾向上也明显弱于另外两个国群。东方国群的选择在拯救年轻人(vs 老年人)的倾向上就十分弱化。西方国群的选择也在某些因子上具有明显倾向性,尽管他们会偏向选择拯救人类(vs 宠物)、多数(vs 少数),但是一旦被置于驾驶室中,保持直线撞击行人(preference for inaction)的倾向显然相对更高,也远高于其他两个国群。

文章中还有其他解读,这里就不一一赘述。值得注意的是,这个思想实验并不是空中楼阁,非自驾版本的选择困境在2016年就兑现过:纽约州伊萨卡市的一个小山坡上,一名卡车司机因为刹车失灵而不得不在建筑工地与咖啡馆间做出抉择,驾驶员选择了后者,一名服务员因此丧生(Survey Polls the World: Should a Self-Driving Car Save Passengers, or Kids in the Road? )。


回到主题

针对这个自驾科技的道德伦理困境,TED频道的网友提供了下列建议:

1)Comment:Allow self driving vehicles to communicate with one another. That way, in such a scenario, multiple vehicles could work in unison to allow a safe pathway out for the car in danger. This would, of course, require very rapid communication between the vehicles. It would significantly lower the chances of this happening, but not prevent it in every instance.?

达成自动驾驶机车间的信息交流。据此,在此类情况中,车群便可以协同作用为险迫车辆厘清一条安全通道。当然,这需要车群间迅驰的交流。此方案可以大幅降低困境出现的几率,但例例俱到是不可能的。

2)Comment:In a world of self driving cars, why are people still riding motorcycles?? Reply#1:Because motorcycles are fun? Because for some people, an excepted amount of danger is thrilling? The same reason people climb mountains without safety gear today. Expecting everyone to take the safest option or assuming that for everyone the safest option is inherently the best, or worse, the only option is foolishness. YOU FOOL! YOU FOOLISH FOOL! YOU FOOLHARDY FOOLISH FOOL!?

问:在自动驾驶车辆的世界中,为啥人们还需要骑行摩托?

回复#1:因为摩托骑行仍然有趣?因为对于某些人而言,刺激险中求?与现今人们不佩戴安全设备登山的原因一样。想要人人都采取最为安全的选项或者假设对于每个人而言最安全的选择总是最好的,或者更糟的,唯一的选项就是愚蠢。~~~~

3)?Comment:I predict that future cars will continually be made structurally stronger and safer for occupants during a crash instead of having programs to tell it to swerve.?

我认为未来的汽车将会倾向于在结构上更加强力并且更能在撞击中保障乘客的安全,而不是去寻求制定如何拐弯的程序。


其实,科技发展而衍生的伦理困境绝不仅仅是哲学家们的吊诡呓语、危言耸听,这把达摩克利斯之剑从信息时代伊始就以短息诈骗、人肉搜索等等形式假手,各位有识之士,如有感慨,不妨来一场未来主义的思维实验。

Bonus:谈及科技与道德伦理的博弈,英剧《黑镜》可谓首屈一指。

某集:《一千五百万的价值》

大数据互联生活时代(看片、饮食、工作被统统捆绑)下,靠骑行赚取消费点数。

上面左图的数字即为消费点数,需要倚靠右图里的疯狂骑行赚取,如果劳力不够,即点数低于临界值会被降阶为清洁员(图中黄衣)。

男主第一次1500万消费点的乾坤一掷,只为梦中情人一展歌喉,然而纯洁的理想等到的却是充满虚伪和堕落的舞台。

男主冲冠一怒为红颜,了断自我的绝望也被算计成「真情实露」的表演

当科技变得可以计算所有,当数据强大到生活可以不用出圈,你的特点与模式可以被轻易提取,居民们可能会沦落成虚拟的符号与傀儡,被不法者玩弄鼓掌。

某集:《你的全部历史》

未来发展到可以在人体内内置晶元,随时提取记忆。

现实中的快感已然沦为影像的背景,律师男主的多疑被记忆体无限放大,在一场歇斯底里的爆发过后,崩溃的妻子离去留下他一人孤寂的身影。

注意上图男主手中的小型播放器。

一边是回溯记忆的福利、一边是永恒伤痛的苦楚,作为有限记忆的常人自由是否更好呢?

某集:《白熊》

未来科技可以清洗记忆,大众是否支持对于犯下不可饶恕罪行的坏人实施记忆「永刑」?

注意上图中太阳穴附近的电波装置

某集:《终极玩家》

VR技术的无限演绎,科技产品的人体试验,当真实与虚幻难分伯仲,当机器学习超越人类认知,我们又该如何选择?

男主Cooper的记忆在不断被改写

《黑镜》目前经典迭出,第五季将于今年12月份登陆,对于此类科技伦理困境有感的朋友们,不容错过。


感谢 @周源 提出这个问题,一个好的问题是回归思考的良机。

在我们谈论科技与社会的时候,自人类伊始,科技仿佛一直是社会进步的不竭动力,从车轮火炬到科技革命,社会生产力和人类文明以库茨维尔定理(The Law of Accelerated Return)呈指数进步。回望人类的科技成就,我们往往会感到不可思议——60年前人类登上月球;120年前卡尔本茨发明汽车,7年后莱特兄弟完成首次飞行;而再倒推120年,工业用蒸汽机才刚刚诞生;在此之前,是两千年之长的铁器文明,三千年属于神祗和青铜的岁月,五千年没有文字的新石器和长达二百万年的旧石器时代……愈发迅猛的技术爆炸,让人类的发展不再依赖于进化。

图1 人类科技的加速发展 [1]

而当暂时摆脱战争和饥饿,站在21世纪的今天回望过去,我们似乎有充分的理由成为一个技术主义者,仿佛可以坚信——科技真的能够解决一切问题 [2]。

诚然,以亿万年的宏观视角从宇宙来看人类,「星辰大海」无疑是最崇高的追求;然而,恪守书斋的大哲学家也曾经说过——

世界上只有两样东西是值得深深景仰的,一个是我们头上的灿烂星空,另一个是我们内心的崇高道德法则。[3]

图2 伊曼努尔·康德(1724-1804),启蒙时代著名德意志哲学家 [4]

正如问题中,尽管所述科技在社会发展中扮演了积极的角色,但科技与社会之间也并非没有矛盾。这源于社会的视角永远是带有时代烙印的人类,而不是星瀚宇宙。当特定时代背景下的人审视科技进步,他的思考不可避免地带著所属的时代色彩和道德忧虑——

因为,前沿科技往往走在法律之前,而科技又如武功并无正邪之分,唯有使用它的人才有善恶之别。绝对的理性会孕育纯粹的科技,也会催生社会的癫狂,在社会崩裂的世界大战中,生化武器的人体实验就是科技滥用的结果,是令人类蒙羞的历史。

因而约束科技的「不滥用」就更需要法律之外的伦理限制,这里绕不开的是科技工作者的根本素养——科技伦理(Ethics of technology)

科技伦理

「科技伦理」是一个在国内还相对为陌生的名词,但在国外的工程学课堂上却是一门必修课。科技伦理是科技工作者及其共同体所应恪守的价值观念、社会责任与行为规范。它聚焦于人和企业与技术、工程、环境、生命之间的道德问题。

尽管我们沉迷于科技爆炸的宏伟遐思,但科技伦理恰恰在不断反思——科学技术的发展,是否会把人类社会引向深渊。

譬如今天的我们,或者说从1965年I. J. Good提出智能爆炸 [5] 开始,半个世纪以来的人类,一直在思考著「人工智慧」的「科技伦理」命题,科幻作家弗诺·文奇在1982年提出了技术奇点,文奇认为——

超越人类智能的计算器将在50年之内问世,这次变化好比200万年以前人类的出现一样重大。

——弗诺·文奇《技术奇点即将来临:后人类时代生存指南》,1982 [6]

科学家和哲学家们反复思索技术奇点与强人工智慧的来临,对人类而言意味著什么。数字计算机之父冯·诺依曼和数学家Stanislaw Ulam在对话中思考强人工智慧诞生后人类社会可能的形态,认为我们所熟知的人类的社会、艺术和生活模式,都将不复存在 [7],现在的人类难以理解未来,就好比金鱼无法理解人类;伟大的艾萨克·阿西莫夫在《基地与地球》中用隐讳的笔法暗示道:人类的历史使命可能就是为了将文明发展到技术奇点、为宇宙带来强人工智慧 [8]。于是我们不免发问:

如果科技向著失控的方向蒙眼狂奔,人类又是否应该按下暂停键?

图3 伊萨克·阿西莫夫(1920-1992),20世纪最有影响力的科幻作家之一 [9]

阿西莫夫早在1942年尝试给出了他的答案,并至今被奉为圭臬,这就是著名的机器人三定律(Three Laws of Robotics)[10],而三定律实际上是在做一件事——「为人工智慧设计伦理」:

机器人三定律:

一 机器人不得伤害人类,或因不作为使人类受到伤害。二 除非违背第一定律,机器人必须服从人类的命令。三 除非违背第一及第二定律,机器人必须保护自己。

……尽管三定律看起来已足够保护人类,但对于强人工智慧社会而言,这样的定律又带有了浓厚的碳基社会色彩,将人类完全凌驾于同样智慧的机器人之上,似乎未必会符合技术奇点之后的社会伦理。因而一些人工智慧研究者以为不足一哂,并将其戏称为「基质沙文主义」[11] 。

当然,这毕竟是后话了。

在现代,科技伦理仍以人类为核心,尊重人类是科技应用的前提。

但事实上,尊重却常常被罔顾,跨越伦理的界线催生了众多科技与社会的矛盾。以汽车行业为例,不少实际发生在我们身边的案例,与我们的生活息息相关。

在共享出行提升公民的交通便捷与生活质量的时候,网约车公司出现的「网约车同程不同价」用「大数据杀熟」,让太多网约车用户感到寒心。当大数据分析与深度学习技术用于赤裸裸地建立价格歧视,用户的愤怒在所难免,不免追问:企业的责任心何在,技术的边界又何在?当尊重失位,科技引发的矛盾暴露无遗。

又如2008-2015年排放作弊车辆在北美造成的环境污染。据一项发表于Environmental Research Letters的研究测算结果认为,2008年至2015年间的作弊车辆造成的过度排放导致了人类死亡 [12]。

图4 尾气测试作弊造成的过度氮氧化物排放测算,2008-2015为实际过度排放值,2015-2040是已销售作弊车辆在未来可能造成的影响,阴影表示预测的上下限 [12]

这些案例将持续对未来产生影响,也仍将为科技工作者和企业长鸣警钟。而在今天,科技与社会的矛盾仍然不鲜:

  • 科技发展有时「超过」社会需求——互联网和智能手机带来的过度便利所引发的「隐私悖论」成为了悬在人类社会头顶的新兴的达摩克利斯之剑;
  • 科技有时又会「落后」社会需求——在有的地方,人们还并未享受到科技带来的便利。

隐私悖论与技术便利

互联网和智能手机的普及,为全世界带来了从未有过的便利和舒适,「个性化推送」「个性化定制」无处不在。「智能化」与「大数据」渗透进了社会的方方面面,智能手机在带来便利的同时,让隐私的界限愈发模糊。但我们正处于大数据的蛮荒地带,在这个模糊地带里,大量企业将伦理抛之脑后、放肆窃取贩卖用户数据的现象,早已不鲜见。

在数据储存公司EMC发起的针对15个国家1.5万名消费者的调查中发现 [13] ,当面对「你愿意以牺牲一些隐私为代价,换取更多便利与舒适吗?」的问题时,51%受访者表示不愿意,而27%表示愿意;这一结果在各国又有所不同,受访国家中,印度愿意比例最高为48%,德国愿意比例最低为12%。这意味著绝大部分人其实并不想违背自己意愿牺牲隐私来换取「过度的」智能化便利。

图5 EMC调查发现大部分用户实际并不愿意牺牲隐私来换取过度的便利,这在不同地区意愿各不相同 [14]

智能手机和移动互联网技术本身并不构成对人类的威胁,只有企业思考清楚自己的责任所在,以科技伦理作为底线,克制地使用科技顺应并引领社会需求:为用户提供便利、避免用户隐私陷入不可控的风险,才能有效缓解社会与科技之间的矛盾。而究其核心,仍然是对用户尊重,这时候,科技应该慢一点,听一听社会的声音。

关于这一行业的科技伦理话题,太多的负面案例可能不需要再进行枚举,这里倒是可以说一个值得参照的企业案例——

  • 苹果的差分隐私技术(Differential Privacy, DP)

苹果手机对用户信息的处理逻辑是:在手机端完成对用户照片和信息的数据分析,将分析结果上传云端,而不是直接上传照片。在2016年之前,这一偏向用户隐私的策略,使苹果在人工智慧与深度学习技术一度落后于谷歌和Facebook。而利用2016年公开的差分隐私技术,苹果的坚持获得了回报。在DP技术下,苹果可以在对已加密的用户数据进行分析,获得用户群体的行为模式为用户提供便利,但用户个体的隐私数据仍然是无法解析的。(详见:苹果的 Differential Privacy 差分隐私技术是什么原理?)

图6 通过对一群人的分析,完成对某一用户群体emoji表情的建议 [15]

然而,尽管人们受困于智能手机和移动网路造成的「过度便利」,在有些地方,科技却应该更加快一点,尊重并满足社会的需求,就比如——汽车。

汽车作为制造业的明珠,在信息时代到来之后,已经有一阵子没有再成为大众眼中前沿科技的弄潮儿了。而随著智能化浪潮的兴起,人们在车上对社交与便利的需求也愈发高涨,大部分车企开发的车载多媒体系统(车机)都采用了保守的社交方案,在汽车驾驶时停用社交功能;而部分车机则较为激进,直接将手机端的功能移植过来,虽然人们已离不开社交,但回复信息所分散的注意力将极大地影响驾驶的安全性,就如某些APP接入车载系统的新闻便引起了对行车安全的大规模讨论:为驾驶员提供社交便利,是否会影响驾驶安全,又是否是技术的滥用 [16]。

显然,人们需要更加智能化的车机在保障驾驶安全的同时,提供生活的便利。在汽车领域,这里也有一个正面的案例——

  • 福特联合斑马的车机系统设计(AliOS)

作为首批合作阿里斑马系统的外资品牌,百年企业福特汽车尝试在新翼虎上向用户开放社交的便利,但并没有鲁莽而生硬地移植社交软体,福特的设计非常审慎:考虑了独特的汽车社交场景——「车友」,车友之间可以通过语音建立车队、建立车友地图、使用系统直接进行语音对讲。车友出行不再需要另外准备对讲机。而说到语音交互,翼虎的车机交互充分基于语音设计,避免驾驶员分散注意力、误操作,保障了安全:不仅包括了常见的基础语音功能,还包括了能够识别主副驾驶的定向语音、语音操作车内多媒体/空调/地图/电话/内循环等多项功能、甚至还可以通过语音和车机一起玩成语接龙、听歌猜歌名。

图7 福特翼虎AliOS的各项语音功能(左边是语音指令列表;右侧是语音互动游戏)

此外,旅行路书、美食地图、卡拉OK、车载钱包、智慧停车和智慧加油等功能极大地便捷了用户的使用,让用户不再需要一边开车一边查手机。而这些功能也是可以使用语音进行操作的。AliOS让用户避免了开车过程中对手机的依赖,并用科技手段在提供便利的同时,保证了安全。

图8 福特翼虎AliOS的旅行路书与美食地图

未来何去何从

科技持续发展,社会观念同样在不断变革,这将不断地催生新的矛盾和新的科技伦理问题。那么如何解决矛盾?

对用户尊重与对科技应用的克制,无疑是负责任的企业应该做到的方向。

MIT数字商业中心研究员Michael Schrage在哈佛商业评论上发表的一篇题为《大数据歧视的危险新时代》一文中写到:

未来大数据的挑战并不在于技术,而是在于管理层的管理与分析路径,能否做到相对透明且显著公平。[17]

相应地,微软的CEO纳德拉在2018 Build大会上谈论了智能化技术背后的三大原则——隐私、责任和道德。 [18]

值得一提的是,说到尊重用户、从用户的角度出发,又要说到上一节中两个案例之一的福特公司。福特是曾引领世界技术变革的美国企业——她被纽约时报记者Bill Vlasic称作底特律皇室 [19]。在刚刚过去的十月里,福特选择了深耕中国、以本土用户为主的战略。一方面福特将中国市场地位上升到与北美市场平行的位置;另一方面,联盟斑马网路,成为了第一批应用AliOS的跨国车企,将携手推出新一代福特翼虎。阿里与福特的强强联手,将便利推进一大步的同时,以信息安全作为底线,核心仍然是尊重用户的意愿。

图9 「停车爱看远山岚」 [20]
图10 「直指边城虎翼飞」 [20]

最后,我想解决科技与社会矛盾的关键在于掌握好技术的双刃剑。而掌剑的剑诀——科技伦理,也并非一成不变,它随著社会的进步时时刻刻要经历新的争议与讨论。而在今天科技时而被滥用,我企盼还有难得的、负责任的科技从业者的责任与良心,值得我们去期待明天。

参考文献及资料来源:

[1] Martin Hilbert, University of California, Digital Technology Social Change

[2] 刘慈欣在2007年中国国际科幻大会上的发言

[3] 康德, 公武, 蓝. 纯粹理性批判[M]. 商务印书馆, 1960.

[4] 伊曼努尔·康德画像

[5] I. J. Good - Wikipedia

[6] Vinge V. The coming technological singularity[J]. Whole Earth Review, 1993, 81: 88-95.

[7] Ulam, Stanislaw (May 1958), "Tribute to John von Neumann", Bulletin of the American Mathematical Society 64(nr 3, part 2): 1-49

[8] Asimov I. Foundation and Earth, 1986; tr. it[J]. Fondazione e Terra, 1987.

[9] 伊萨克·阿西莫夫画像

[10] Asimov I. I, robot[M]. Spectra, 2004.

[11] Why Asimovs Three Laws Of Robotics Cant Protect Us

[12] Barrett S R H, Speth R L, Eastham S D, et al. Impact of the Volkswagen emissions control defeat device on US public health[J]. Environmental Research Letters, 2015, 10(11): 114005.

[13] 隐私悖论和大数据的挑战

[14] EMC,Majority expects privacy to erode in years ahead | ZDNet

[15] A closer look at Differential Privacy in iOS 10 and macOS Sierra

[16] 车载大屏幕能用微信了?

[17] Schrage M. Big Data』s dangerous new era of discrimination[J]. Harvard Business Review, 2014.

[18] Satya Nadella: Build 2018 - Stories

[19] Vlasic B. Once Upon a Car: The Fall and Resurrection of Americas Big Three Auto Makers--GM, Ford, and Chrysler[M]. William Morrow, 2011.

[20] 福特官网


过去十年是「机器学习」的黄金时代。整个泛人工智慧领域,包括计算机视觉、自然语言处理以及传统的数据挖掘应用领域,都靠著硬体红利及深度学习有了新的发展。除了最有代表性的谷歌AlphaGo以外,更多实用智能模型已经开始落地,改变了我们的生活习惯。比如抖音和今日头条的崛起于它们强大的推荐系统密不可分,这种智能系统可以通过精准推荐用户感兴趣的内容从而延长APP使用时长。

因此如果要谈「科技与社会间的矛盾」的话,「智能系统」是一个很好的切入点。因为除了它所带来的便利以外,愈发智能和自动化的系统也给我们带来了新的挑战。

1. 推荐系统,交互设计与成瘾性

从智能推荐系统的角度来看,短期内似乎便利大于危害。但仔细分析后会发现「精确的推荐导致我们只能看到特定的话题,很难跳出这个信息圈,造成回音桶效应」。而这种效应会不断加强,时间久了极易造成「一叶障目不见泰山」,思想上变得更加狭隘。

同时其他领域研究成果(心理学、交互设计)进一步强化了推荐系统所营造的沉浸体验,而这种体验甚至可能是有成瘾性的。再以抖音为例,它抓住用户的注意力是通过沉浸式交互实现的。在推荐页面,你每次只能看到一个视频,且系统默认自动播放。因为没有给用户反应时间,我们会不由自主的盯著视频看,因此听觉和视觉很容易就被当前的视频所吸引。视频在播放完毕后会自动循环,很多人就会一遍遍地看同一个视频。而上划所展示的新视频不由我们自己决定,有一种新鲜感,使人停不下来。

为了实现这样的沉浸式体验,交互必须是非常简洁的:双击点赞,上划切换下一个视频,关注主播也可以在视频的右上角点击红色的加号。这种设计简化了关注流程,基本操作无需离开当前页面。说白了,就是要避免一切会打断用户的事件这样的目的是让用户重复,只需要重复简单操作就可以得到新的感官刺激。抖音的设计强化了这种交互闭环,视频自动播放-喜欢点赞-关注主播-上划切换下一个视频-&>获得快感,并循环这个过程。我们大部分人喜欢可以廉价的带来精神愉悦的活动以及新鲜感,而抖音的成瘾性就植根于极简的交互设计所带来的沉浸式体验,以及期待下一个视频所带来的未知感

30多年前,心理学家奥尔兹通过实验发现「奖励中枢」。他将电击装置植入老鼠的「奖励」中枢,设计了一个控制开关,并教会老鼠使用,老鼠会喜欢上原本让其深恶痛绝的电击,并近乎疯狂地电击自己,直至精疲力尽,但一醒来,就又去点击开关。 奥尔兹为了进一步搞清老鼠对这种刺激的迷恋程度,特意在老鼠和开关之间摆上一个通有很强电流的铁板,但老鼠竟不顾脚掌烧焦及触电的痛苦,拚命穿过铁板,扑向那个能给它带来电击刺激的开关,直至手脚被严重烫伤无法爬行。(来源:詹姆斯·奥尔兹 百度百科)

除此之外,对于推荐系统的高度依赖也给了别有用心的人发挥空间。大部分平台的推荐内容中都有一些难以分辨的广告推广、高级软文、甚至诈骗等。比如,一篇介绍中老年疾病的科普文章最后变成了销售保健品,可谓防不胜防。不少科技平台往往是装作看不见甚至推波助澜,毕竟最后可以把责任推给演算法。推荐系统不仅可以计算出推荐什么内容,也可以推测你适合的广告有哪些。标榜推荐演算法的平台也有了「作恶」的权力,比如慢性洗脑。通过这种潜移默化的力量,慢慢的用户会以为这些软文这是自己想看的内容,可能还在现实生活中购买了相关的产品,而忘记了这些其实是可能是科技企业推波助澜后植入你脑中的想法。

我们的目的不是批评抖音或者任何科技企业,而只是向大众科普如何掌控自己的生活。科技是否「有罪」?是另一个宏大的议题了。

2. 公平机器学习与系统性歧视

另一个由智能系统带来的系统性风险就是「歧视」,公平机器学习(Machine Learning Fairness)是当下最为火爆的话题之一机器学习中的公平主要指的是在由数据驱动的智能模型中可能存在种种「不公平」、「偏见」甚至是「歧视」。这种现象在有限可解释性的智能模型下更为严重,因为人们可以把责任推给模型与演算法,比如单纯数据分析得到的结论可能是:

  1. 黄种人缺少体育天分
  2. 黑人犯罪率更高
  3. 西裔喜欢贩毒

如果只从统计角度来看,似乎以上结论有一定的道理。但依据这样的智能系统做出的决策可能对于个体来说是非常不公平的,因为在表象结论背后的深层次原因很有可能无法被模型所刻画,而简单归因于种族。假设我们今天利用一个智能系统来决定谁当警察,那么黑人可能就会被系统认为不适合从事法律行业。没有追根究底深层次原因,而由表象做出决定,来指导一个人的生活的方方面面,这是非常危险的事情。其实英剧《黑镜》和电影《少数派报告》中都讲述了类似的故事,即作为个人我们无法承担智能模型不准确或者歧视所带来的后果。滥用科技的结局可能是毁灭性的。

其实这样的系统离我们并不遥远,各种征信和借贷系统正在逐步走向智能化,很多企业的招聘、升迁、裁员都开始借助智能系统做出决策。因此公平的智能系统非常重要,它可能会在未来影响到我们每一个人。欧盟最近的法规也要求,由智能系统做出的决策必须具备可解释性,以防止系统性的歧视。

3. 智能系统,网路安全与代沟

另一个智能系统的弊端是安全风险--绝大部分系统中都存在漏洞。现阶段不少模型都可能被逆向工程(reverse engineering)和社会工程(social engineering)轻易击破。如果我们无法进一步提升这类智能模型的安全性,那么其带来的社会风险是巨大的,甚至还不如现在的基于规则的系统。而我们的信息与数据现阶段还分散在各大服务商运营商手中,但在未来信息系统一体化不是梦,那么我们的隐私毫无保障可言。科技企业不仅知道你是谁,做过什么,想做什么。如果系统安全措施无法到位,那就像是打开了金库的大门供人参观。即使科技企业不作恶,但在不法分子严重我们更像是一只只肥羊。这一系列问答中的第二题就是讨论数据的归属权,这是非常重要的议题。因为当数据系统全部联通后,如果我们没有权力选择删除,那我们真的是在裸奔。这个问题对于科技企业来说也很严肃,一次次的数据泄露说明了我们不能单纯追求KPI和新功能,做好安全在数据时代是迫在眉睫的事情

4. 科技从业者对于社会的终极关怀与敬畏

而抛开以上所有技术细节不谈,我觉得最值得担忧的是智能系统加速我们社会的分化。除了初级工种正在快速消亡以外,智能系统正在给中下层人民营造出《黑客帝国》中的「完美世界」:他们只需要沉溺在充满快乐的社交软体中即可,而无需思考便利与娱乐正在逐渐消解大家对于科技发展的戒心,而且在逐步剥夺大家的思考能力

在业界有一句很出名的调侃,大致意思是:世界上最聪明的1%的人每天费尽心思让剩下99%的人对著手机花钱花时间,这就是智能推荐系统

而这个现象背后所带给我们的启示是,知识分子,尤其是有能力作恶的科技人才要时刻怀抱著对于善良的追求,哪怕只有一点点。除了业绩以外,也要保留著对于社会的怜悯与善良风俗的顾虑。而作为普通民众,我们不要一昧枉信科技巨头们是善良的,善良是在公众监督和政策约束下所达到的一种平衡。除了国家立法以外,我们也要尽起监督义务,在便利之外多了解思考其背后的风险。

不要沉溺与短暂的快乐中,而成为了一只只触碰电极至死的老鼠


又是一个很大的问题,那我也回答的大一点..从信息的角度来谈谈。

现在科技发展的速度一直取决于信息传播的速度,人类一直努力寻找快捷有效的信息传播方式。我们享受著新传播方式的便捷,感受著因此而来经济、文化、政治、科学上的天翻地覆,却始终没有停止对新传播方式感到恐惧,也没有停止对它们所带来矛盾的担忧。

  1. 文字与统治

文字出现,人类才有了历史,开始了逻辑,文字是最开始的技术,也是所有技术的源头,从此信息才得以脱离声音开始传播。人类经历数千年才将心智中最根深蒂固难以去除的部分总结为符号系统,之后信息不再只能回忆,也可以跨越时空。在中国,最初的文字起始于图腾,发展于祭祀,兴盛于统治。对于不识字者,这种信息传播方式本身就代表著神秘和权威,或许也夹杂著恐惧。女巫,异端,萨满,不可理解的文字一直都被视为超自然能力的象征,人类自己也从未停止过对这些未知的担忧。

而有了文字,人类本身自然就出现了矛盾,如果我们问一位农奴」请给我解释什么是一棵树「,那么大概率的答案是」为什么要解释?所有人都知道树是什么。「 我们想要的答案显然不是如此。

在古代,文字是贵族阶级维持超然的保障,教育普及之后,方才有机会人人平等,这个观点我不能肯定。但是文字和贵族超然这两者必然有一定联系。古代中国,懂得文字就代表有知识,有知识就高人一等。中国5千年历史中,这种划分,或者说知识分子/农民的矛盾划分一直持续到上世纪,直到文化大革命之后还没有彻底消弭。

2. 印刷术与信息传播降维

在文字出现之后的岁月里,人类一直稳步发展,并没有过多怀念那个仅限于语音交流的消逝世界。直到印刷术的出现。

印刷术的发明,作为第二场信息传播革命,在从中世纪到现代社会的转型中发挥了不可或缺的作用。很少有人认识到这是「人类历史的一个决定性时刻,在那之后,一切都变了」。从此,文艺复兴,新教改革和现代科学一起诞生并蓬勃发展。

但是一种不安也日渐抬头。」我们在这个时代正在考虑往回倒带,「代表人物马歇尔·麦克卢汉曾经这么说道。印刷品提供的传播渠道是狭隘而单维度的,甚至可以认为是支离破碎的。而口语语音这种面对面交流方式还伴随著手势和声音,调动了所有感官。如果说传播的概念是灵魂交流,那么文字只是干巴巴的影子。

这种对信息传播片面性的担忧和引起的矛盾,曾经被信息学家总结为「传播方式涉及感官的数目越多,利用副本可靠地传输发送者思想状态的可能性越大。」

这种矛盾现在依然存在。总有很多人认为,重要的事情能见面就不要打电话,能打电话就不要发简讯。

3. 信号塔与信息传播渠道私有化

早在电报发明之前,就曾经有过遍布欧洲各地的远程信息传播系统,这种起始于法国,迅速扩展到欧洲的网路叫「信号塔」。信号塔借助声音或者视觉信号进行消息接力,比如「打几发子弹」「敲几下鼓」,为了确保信息传播的简洁,操作员甚至维护了超过八千字的码本。

这种信号塔并不稳定,信息传播错误很多,错误的范例就像著名综艺节目「王牌对王牌」里的传话游戏,这个游戏在各个国家有不同的名字,英国叫做「中国悄悄话(chinese whisper)」,中国叫做「以讹传讹」,土耳其叫做「咬耳朵(from ear to ear)」,美国叫做「打电话」。

信号塔的建立和废弃速度都远超人们想像,然而信号塔又引起了其它恐惧和矛盾--对信息传播私有化的恐惧。这种恐惧和矛盾现在已经远离我们,因为我们可以随时随地建立方便的远程通信。200年前可并不是这样,第一座信号塔在建立之时就被热情的巴黎群众付之一炬,因为对大革命中通敌的担忧。当有钱人希望建立自己的私有信号塔时,1837年法国政府甚至颁布了这样一项法律规定,对于「任何未经批准,擅自利用远距离传讯设备或任何其他方式将信号从一处发送到另一处者「,会被判处罚金或徒刑。

时至今日,我们虽然对私有化的信息传播并不排斥,但是小范围的私密交流圈子与公共安全的矛盾却一直备受担忧,暗网与Tor。

4. 电与纸--公开与隐私

电报、电话和无线电广播,一个新的由麦克斯韦和贝尔掀起的信息传播革命又依次汹涌而来。从此以后信息传播速度再与人类交通工具的速度无关,仅仅短短数年时间内,电报就」消弭「了时间和空间,帮助警察抓捕了逃犯,帮助军队互通有无。

虽然大部分人认为,保密的信息传播与文字一起出现,但是不得不承认,信息的保密性直到电磁革命才备受重视。早期的电报,电话和无线电繁荣带起了打字员,接线员,话务员职业的兴盛。据《纽约时报》报道,威斯康星州电话线路的负责人就头疼于欧克莱尔镇和奇珀瓦尔福镇年轻男女之间没完没了的谈情说爱。可以说,每一次成功的通信背后站著一位兢兢业业的打字员或者话务员。任何通信内容都逃不过他们的法眼。所以一些暗语普遍兴起,或者军队中更加大规模的隐私保护--信息加密应运而生。

时至今日,每个个体都在追求信息传播自由,但是负有公共安全责任的部门一直在努力限制这种自由。在我们可见的未来,这种公开与隐私的矛盾并不会消失,或许还有可能愈演愈烈。

5. 互联网与信息焦虑

互联网是距离我们最近的一次信息传播革命了,每个人可随时、随地、无条件接入的信息传播网路又一次在短短数年之间代替了百年来的点对点信息传播方式。而接踵而来的网路中繁杂的信息,更是互联网时代的主要矛盾。

「信息过载」「信息过量」「信息爆炸」「全杂讯」,自从香农资讯理论问世以来,人们在寻找各种各样的辞汇来形容信息焦虑。

信息焦虑用来形容「由于暴露在过量信息当中而引致的漠然、冷淡或心力憔悴,由于试图从媒体、Internet或工作中吸收过量信息而引致的压力。」

戴维·华莱士甚至把这种环境称为「全杂讯」。或许这是因为我们并不能准确区分信息和知识,而且知识也并不一定能使人感到启迪。早在1970年,就曾经有人认为「倘若我们不克制的话,书籍泛滥将会导致一种与普遍蒙昧无异的思想衰弱状态。」然而这种克制并不存在。我们现在就看到了京东上的各种「极具教育意义」」300位互联网CTO联袂推荐「」21天教你学会全世界「的书籍。

实际上,心理学家和社会学家早在60年代就开始了对信息焦虑的研究。1960年,在施特洛伊福特的一组论文中就指出,信息负载与信息处理的关系就像」倒写的字母U「,大量的信息一开始是有益的,接著渐渐变得有害了起来。20世纪80年代,研究者已经普遍认为人类只能吸收和处理有限的信息,而信息过量不仅会导致困惑和挫败,还会导致视野受限和不诚实行为。1998年,伊利诺伊大学的学生研究了一个」共同体或俗民群体「,所有被研究者都认为自己在受到信息过载的折磨,这种具体表现是」电子邮件、会议、邮件列表和文件「汹涌而来,这个实验初步表示信息过载确实存在。

中世纪我们渴求远方的信息,而现在已经过于廉价。

由此互联网巨头们应运而生,他们部分缓解了科技发展带来的信息焦虑。他们处理信息的方法多种多样,但是归根到底只是三件事:筛选、搜索、推荐。优质博客列表、口碑传统媒体、知乎等帮我们区分信息精华和糟粕。被大量信息困扰的群众借助谷歌,百度等巨头获得自己突然期望得到的信息。今日头条、抖音和各种机器学习演算法给我们推荐长期感兴趣的信息。

我们应当留意的是,当信息变得廉价的时候,用户注意力就变得宝贵了起来,这也是为什么现代互联网企业强调用户时间的原因,这也是为什么筛选逐渐式微,推荐大行其道的原因。兴趣推荐可以追踪到个体感兴趣的话题,占据用户注意力,对于每个个体来说,私人订制显然比大众口味要好得多。

但是问题是,这些巨头们占据注意力的方式往往不那么光彩--崇尚以子之矛攻子之盾。通过采集读者的信息来占据注意力,或许还暗暗改变我们的兴趣。他们有权利这样做吗?这或许是我们未来十年争论的焦点。

3月19日36Kr新闻,

上周五,特朗普(Donald Trump)聘用的一家政治AI公司剑桥分析(Cambridge Analytica),被曝非法将大约5千万Facebook用户的信息用于大数据分析,从而精准刻画这些Facebook用户的心理特征,并向他们推送定制广告,甚至假新闻。

剑桥分析帮助大不列颠离开了欧盟,帮助特朗普当选了美利坚合众国总统。而在斯坦福,反对把心理学定位运用到政治领域的Kosinski持续收到了指责他的邮件 。

但是不论如何,世界已经反转。

6.结语

新的信息传播技术在改变现有世界的同时,却始终伴随著混乱和恐惧,文字与统治,印刷术与信息传播片面化,信号塔与信息传播私有化,电信网路与隐私,互联网与信息焦虑,不同的是有的恐惧和矛盾随著时间逐渐消失,有的矛盾却始终围绕在我们身边。这就像是我们为了抵抗洪水修建了水库,然而水库却破坏了我们本不想改变的上游生态。

谁是信息的主宰者?谁又将占据用户注意力,控制互联网用户时间,掌控霸权?已经存在的矛盾有的困扰了我们几百年,新兴的矛盾依然正在兴起。怎么解决我不得而知。我们只知道,在一场一场的信息传播革命中,希望和恐惧并存,飞跃与矛盾一体。托贝尔特·布莱希特在无线电诞生之初就这样说道,

」一个有话想说却找不到听众的人是不幸的,但更不幸的是那些找不到人有话想说给他们听的听众「。

我还想再加上一句,

」其实最不幸的是那些以为自己找到了想听的话,却被隐藏在幕后的转发者改变兴趣而不自知的人「。

所以太多嘴在说,太多耳朵在听,却只有几个大脑在收集转发,我们该相信谁?

完。

[1]詹姆斯, 格雷克, 高博. 信息简史[J]. 中国科技信息, 2013, 23: 038.

[2] Jack Goody and Ian Watt,「The Consequences of Literacy", Comparative Studies in Society and History 5, no.3(1963):304-345.

[3] Jonatha Miller, Marshall McLuhan,3

[4] Marshall McLuhan,"Media and Culture Change," in Essential McLuhan ,92.

[5] Gerard J.Holzmann and Bjorn Pehrson, The early history of data networks.( IEEE Computer Society, 1955), 52 ff

[6] The New York Times, 21 October 1927.

[7] David Foster Wallace, The myth of the Machine, vol 2. The pentagon of Power(New York:Harcourt, 2007).

[8] Lewis Munford, The Myth of the Machine, vol 2. The Pentagon of Power(New York: Harcourt, Brace, 1970),182

[9] Bertolt Brecht, Radio Theory.

[10]助特朗普胜选、英国脱欧,深扒Facebook丑闻背后的神秘数据公司, 2018-03-21, 36Kr.


推荐阅读:
相关文章