來源 | 新金融洛書（FintechBook）

作者 | 雷慢

2018年，歐盟頒佈了一道了不起的法令——《一般數據保護條例》（GDPR）》。

它未被國人重視的嚴重性，正如它深遠、前瞻的偉大性一樣不可忽視。

這則法令最重要的兩個原則在於：

1、最大限度的保護個人隱私，嚴格限定企業、政府對個人信息數據的使用條件。將科技、人工智能、數據滲透阻擋於個人隱私之外。

2、要求人工審查重要的人工智能中的算法決策，提供個別算法決策的詳細解釋或關於算法如何做出決定的一般信息。這一條款將大大降低技術黑箱問題的存在。

通俗並且簡而言之，這兩個原則，試圖保護人類個體不受愈發失控的技術黑箱之侵害。

如果不受限制，技術黑箱將導致怎樣的後果？

01 技術黑箱

2016年3月23日，微軟公司的人工智能聊天機器人Tay上線一天後“學壞”。出乎意料的滿嘴種族歧視和性別歧視言論，成爲了一個集反猶太人、性別歧視、種族歧視者。於是微軟公司緊急下線了Tay。

Tay事件被視爲典型的技術黑箱案例，Tay被設定模仿典型的“千禧年一代”的日常談話，它最初的數據和內容來自一些諧星的公開言論，但經過一天和人類線上聊天后，它並不知道自己汲收了什麼，說出了什麼。

2016年開始，中國的監管者開始要求P2P網貸信息披露透明。這仍然是一個僞命題，在P2P平臺和借款人那裏，仍然存在着很多黑箱。如，因爲商業利益或保密的藉口，企業會模糊化或往有利的方向描述自己的經營情況、風險信息。在平臺上，對借款人風險的評估，存在數據黑箱。

法學教授弗蘭克·帕特洛伊(Frank Partnoy)和普利策獎獲得者傑西·艾辛格(Jesse Eisinger)曾於2013年年初共同研究過”美國銀行的內幕“，他們在報告中把銀行描述爲“掩蓋了巨大風險的‘黑箱’，這些風險可能會再次擊垮經濟”。

“現在沒有哪家大型金融機構的財務報表能夠提供有價值的風險信息。”在報告中，一位對衝基金經理人如是說。

02 金融黑箱製造者

金融科技化之後，越來越多的黑箱產生，並未使得金融科技更加透明。

黑箱的種子與土壤到處都是，如黑產軍團、數據倒賣行爲、大數據信審、人工智能深度學習、機器決策…

金融科技黑箱使得監管越來越難。

過去幾年裏，P2P網貸和互聯網信貸的經營者往往津津樂道的拿出他們的大數據風控系統吹噓一番。

一家借貸平臺在他的大數據風控的系統中輸入一個人用戶數以千計的社交數據、搜索數據、瀏覽數據、交易數據等，經過深度學習和決策模型的計算，最終可能將一個人的信用定爲不及格，但這其中的具體決策過程是什麼，企業不會告知你。

更甚至於，這個決策過程中出現程序錯誤、算法歧視時，電腦試圖向程序員解釋時，程序員也無法明白。

哥倫比亞大學的機器人學家 Hod Lipson曾說：“這就像是向一條狗解釋莎士比亞是誰。”

這意味着，螞蟻金服、百度、騰訊們津津樂道的精準營銷獲客與大數據風控定價，都在製造一個個黑箱。

被問及Google公司如何進行私下操作時，前首席執行官埃裏克·施密特(Eric Schmidt)曾經回答：“Google的政策就是和警戒線打擦邊球。”

過去幾十年，美國民間與政府的博弈過程中，進步人士曾試圖要求一些機構公佈其人工智能決策的邏輯與原理，最後都被後者以“商業保密”藉口駁回。

在人工智能決策的黑箱裏，這些過程最後變得無可奉告。

03 黑箱金融裏的中國金融科技

目前，中國的現金貸、互聯網信貸、大數據風控都在黑箱化。

在未能出臺個人信息數據運用細則的中國環境中，金融科技機構正在用學歷、戶籍、種族等一切信息輕易地給你更高的風險定價甚至於拒絕你的貸款。

《從業經歷和教育背景是否能提高借貸成功率？——來自P2P平臺的經驗證據》一文證實了學歷在P2P借貸中的正相關因素，它指出，教育程度在1%的顯著水平上與借貸成功率呈正相關關係。此外，性別、領域對借款能否成功產生影響。

螞蟻金服的芝麻信用在經過用戶填寫後會將學歷信息納入信用分評估中

中國央行研究局局長徐忠曾表示，如果將客戶個人信息用於信用評估時，可能影響信貸的公平性，有一些指標比如性別、地域、職業等可能對客戶的還款能力有解釋力，但根據這些指標進行放貸，會涉及到對某些人羣的歧視。

但在人工智能的決策黑箱裏，這些都看不見。

在人工智能的深度學習與決策黑箱裏，有一個現象值得說明，比如互聯網信貸，人工智能深度學習後的決策系統對有過違約記錄的用戶往往收取更高的利息，在這一過程中，違約者曾經未能及時還款的原因卻是未知的，可能他拒絕支付，也可能是因爲家裏出了緊急事故，但人工智能決策的歧視性已經出來。

在現金貸平臺那裏，大數據信審的黑箱歧視性給予借款人過高的利率定價，往往容易導致借款人違約，而違約後的歧視性利率定價，可能再次導致借款人違約，造成惡性循環。

一旦基於人工智能決策對身背污點者的歧視性信審體系成型，就會演變成進行壓迫的工具，而受壓迫者卻絲毫沒有還擊之力。

黑箱金融造成的一個後果是，互聯網理財資產負債表會越來越不透明並複雜化，要維繫這個黑箱金融持續下去，就要犧牲擁有現實資金的投資者。

過去幾年裏，死於、受害於P2P網貸資金池、其他互聯網理財的平臺和投資人就是這個例子。

歐盟GDPR的出臺，可以視爲對技術風控黑箱一種反駁機制。

04 公正對效率的偉大制衡

面對黑箱， 即使機構告訴用戶信息收集者會如何使用這些數據，只要他們同意，隱私也不一定能得到保護。

帕斯奎爾在《黑箱社會：控制金錢和信息的法則》裏的大體主張是：放棄知情同意這種形式上的做法，去嚴格監管實際使用這些數據的企業和政府機構。

我們回過頭來再看看GDPR了不起的地方。

歐盟GDPR了不起的地方在於無視利益集團、犧牲科技革新的速度，將科技進步控制在可理解的天花板裏，而非放任在失控的黑箱中。

GDPR強化對自然人數據的保護，它將個人敏感數據排除在人工智能的自動化決定之外。

一百年前，路易斯·布蘭戴斯(Louis Brandeis)曾經發表言論“陽光是最好的殺毒劑”。

儘管來自美國的批評聲音認爲，GDPR對歐洲人工智能的開發和使用產生負面影響，帶來高昂的創新和生產成本，並將使歐盟企業與北美和亞洲等競爭對手相比處於劣勢地位，且對保護消費者沒有多大作用。

在沒有更好的辦法之前，歐洲GDPR仍是目前最了不起的法案。

令人恐懼的是，在人工智能+大數據時代，“知情”具有破解“黑箱”的優勢，但“保密”卻有相對“知情”更大的優勢。

“商業保密”成爲企業維持黑箱決策的藉口。

在金融黑箱的失控下，螞蟻金服或騰訊、百度們，甚至於美團、攜程們，有可能成爲金融科技領域的新權威者。

而正在爲金融黑箱埋單的，就是你我。

本文主要參考資料：

《黑箱社會：控制金錢和信息的法則》