人類越來越無法掌控機器了

你臥室角落裡的智能音箱突然狂笑起來，還把你的枕邊細語錄音發給了一個同事。 你蹣跚學步的孩子在YouTube上看動畫片《小豬佩奇》，卻出乎意料地看到了血腥和死亡的畫面。 你用來和老同學保持聯繫的社交網絡被發現會影響選舉結果和被用來煽動政變。

我們的思維方式發生了奇怪的變化——因此，這個世界發生了更奇怪的事情。 我們開始相信，一切都是可計算的，都可以通過新技術的應用加以解決。 但這些技術並不是中立的促進者： 它們體現了我們的政治傾向和偏見，它們超越了國家和法律管轄範圍的界限，甚至越來越超出了它們的創造者的理解範圍。 因此，隨著這些強大技術對我們的日常生活有了更多的控制，我們變得越來越不理解這個世界。

在科學和社會中，在政治和教育中，在戰爭和商業中，新技術不僅增強了我們的能力，還在積極地塑造和指導它們，無論好壞。 如果我們不了解複雜的技術是如何運作的，那麼它們的潛力會更容易被自私的精英和公司利用。 由此帶來的結果會在我們周圍隨處可見。 我們每天遇到的複雜且不透明的系統和不平等、暴力、民粹主義和原教旨主義的全球問題之間，存在著因果關係。

我們似乎進入了一個充斥著更加離奇和不可預見的事件的新黑暗時代，而不是一個技術進步會給世界帶來希望和解放的烏托邦式未來。 廣泛地傳播信息的啟蒙運動思想，並沒有促進人們的相互理解和世界和平，相反，它似乎在助長社會分裂、不信任、陰謀論和後真相政治。 要理解正在發生的事情，有必要了解我們的技術是如何運作的，以及我們是如何變得對它們抱有如此大的信心的。

1

在20世紀50年代，一個新的符號開始進入電氣工程師繪製來描述其所構建的系統的圖解當中：一個模糊的圓圈，或者說一個馬勃菌，又或者一個思想泡泡。 最終，它的形狀變成了雲的形狀。 不管工程師在做什麼，它都可以連接到這個雲上，這就是你需要知道的。 另一個雲可能是一個電力系統，或者一個數據交換系統，又或者另一個計算機網絡。 無論是什麼，都不重要。 雲是降低複雜性的一種方式，它可以讓你專注於處理手頭的問題。 隨著時間的推移，隨著網絡變得越來越大，越來越互聯，雲變得越來越重要。 它變成了一個商業熱詞和一個賣點，變得不只是一種工程符號了，甚至變成了一種隱喻。

如今，雲是互聯網的核心隱喻：一個擁有巨大力量和能量的全球系統，不過它仍保留著某種難以捉摸、幾乎無法把握的東西的味道。 我們在它裡面工作；我們從它那裡儲存和取回東西；它是某種我們一直在接觸，但卻沒有真正理解的東西。 但這個隱喻有一個問題：云不是某個神奇而遙遠的地方——由水蒸氣和無線電波構成的，上面的一切都在有效運轉。 它是一種物理基礎設施，包含電話線、光纖、衛星、海底電纜以及放滿計算機的巨大倉庫，這些倉庫需要消耗大量的水和能源。 被雲吸納的是許多以前在公眾領域很重要的建築： 我們購物、獲取銀行服務、社交、借書和投票的地方。 因此，被遮蔽起來以後，它們變得不那麼顯眼，也不那麼容易受到批評、調查和監管的影響。

在過去的幾十年裡，世界各地的交易大廳都陷入了沉默，因為人們被大量自動交易的電腦所取代。 數字化意味著，股票交易所內部和之間的交易會越來越快。 當交易落入機器手中時，機器幾乎可以立即對市場的情況做出反應。 前物理學博士學生設計的高頻交易算法進入了市場，交易員給它們起了諸如“The Knife”的名字，因為 它們可以利用毫秒級的時間優勢，能夠從每筆交易中賺得一分一毫，而且一天可以做到數百萬次。

在這些大規模加速且不透明的市場中，發生了某種非常怪異的事情。 2010年5月6日，道瓊斯指數開盤低開，在接下來的幾個小時裡因為希臘債務危機的消息而緩慢下跌。 但在下午2點42分，該指數開始迅速下跌。 在不到五分鐘的時間裡，該指數被抹去了600點。 在最低點時，該指數比前一天的平均水平低了近1000點，幾乎是其總價值的10%，也創下了市場歷史上最大的單日跌幅。 到下午3點07分，在短短25分鐘內，它幾乎收復了所有的600點，這是有史以​​來幅度最大且最快速的震盪。

在那25分鐘的混亂中，價值560億美元的20億股股票易手。 更令人擔憂的是，許多訂單是在證券交易委員會所謂的“非理性價格”下執行的：低至一美分，高至10萬美元。 這一事件被稱為“閃電崩盤”，多年後仍處在調查和爭論的旋渦中。

2

監管機構的一份報告發現，高頻交易員加劇了價格波動。 在眾多的高頻交易程序中，許多都有硬編碼的賣出價位：被程序設定為立即賣出股票的價格。 隨著價格開始下跌，許多程序同時被觸發賣出。 一個個的價位被跳過，隨後的價格下跌觸發了另一套算法自動賣出他們的股票，從而產生了反饋效應。 因此，價格下跌的速度超出了人類交易者的反應速度。 經驗豐富的市場參與者或許能夠通過做長線來應對崩盤、穩定局面，而機器面對不確定性則會選擇盡快退出市場。

其他的一些理論則指責這些算法引發了危機。 從數據中識別出的一種手法是，高頻交易程序向交易所發送大量“不可執行”的指令，即指令中買入或賣出股票的報價遠遠超出正常價格範圍，因此它們會被忽視 。 這種指令的目的並不是為了真正傳達信息或者賺錢，而是為了故意給系統製造混亂，以便在混亂中執行其他更有價值的交易。 許多從未要打算執行的指令實際上已經被執行，從而導致了市場劇烈的波動。

“閃電崩盤”現在是採用新技術市場的一個公認特徵，但人們對它仍然缺乏了解。 2016年10月，算法對有關英國退歐談判的負面頭條新聞做出反應，在不到兩分鐘的時間裡，英鎊兌美元匯率下跌了6%，隨後卻幾乎立即出現反彈。 想知道哪個頭條新聞或者哪個算法導致這起崩盤事故，幾乎是不可能的。 2012年10月，一個亂七八糟的算法開始下達和取消訂單，導緻美國股市有4%的交易流量被吞噬掉。 對此，一位評論人士諷刺地說，“這個算法的動機還不清楚”。

2013年4月23日下午1點07分，美聯社向其200萬關注者發出了一條推文：“突發新聞：白宮發生兩起爆炸，巴拉克·奧巴馬受傷。”這條消息的發出 是因為美聯社賬號被侵入，隸屬於敘利亞總統巴沙爾·阿薩德的敘利亞電子軍後來聲稱為此負責。 美聯社和其他的媒體記者很快就在網站上發出警告，稱那條消息是假的。

然而，面對傳出的突發新聞，算法並沒有這種鑑別能力。 下午1點8分，道瓊斯指數暴跌。 在大多數人還沒看到那條虛假推文之前，該指數在兩分鐘內就下跌了150點，而後又反彈至之前的水平。 期間，該股票市場的市值一度蒸發了1360億美元。

3

計算技術越來越多地被跨層級，越來越多地隱藏在我們日常生活中的物體當中， 隨著它的擴張，不透明性和不可預測性也會增加 。 三星在2015年推出的“智能冰箱”系列。 其一大賣點是與穀歌的日曆服務整合在一起，讓用戶可以直接在廚房里安排食品雜貨配送。 這也意味著，黑客如果能夠訪問當時不夠安全的機器，就可以讀取用戶的Gmail賬號密碼。

德國的研究人員發現了一種方法，可以將惡意代碼嵌入飛利浦支持WiFi的Hue燈泡中，然後惡意代碼可以從一個燈泡裝置傳播到另一個傳播裝置，然後擴散到整個建築，甚至是整個城市，讓 燈泡快速打開和關閉——在某種可能的情況下，還會引發光敏癲癇。 這是托馬斯·品欽著作《萬有引力之虹》裡的燈泡Byron所青睞的方法，同時這也是小機器對其創造者的暴政進行的一場大起義。 曾經虛構的技術暴力的可能性正通過物聯網實現。

在金·斯坦利·羅賓遜的小說《極光》中，一艘智能宇宙飛船將一群人類船員從地球運送到一個遙遠的恆星。 這趟旅程需要花費好幾輩子的時間，所以飛船的工作之一就是確保人類照顧好自己。 當他們的脆弱社會分崩離析，威脅到使命執行的時候，飛船會通過部署安全系統來實施控制：它能夠通過傳感器看到任何的地方，能夠隨意打開或密封船上的門，能夠通過其通訊設備大聲說話 來引起人的身體疼痛，還能夠使用滅火系統來減少特定空間內的氧氣水平。

這大致類似於現在來自谷歌及其合作夥伴的設備套裝的運作：針對家庭安全的網絡攝像機網絡，智能門鎖，能夠給單個房間調整溫度的恆溫器，會發出刺耳警報聲的火和侵入者檢測 系統。 這意味著，任何一個成功的黑客都能夠擁有像隨意控制船員的Aurora或者反抗可惡主人的Byron一樣的能力。

在駁斥來自科幻小說作家的狂想的這類場景之前，不妨再想想證券交易所中的那些流氓算法。 這些並不是孤立事件，而是複雜系統中的日常事件。 那麼問題就變成了，在現實世界中，流氓算法或“閃電崩盤”會是什麼樣呢？

比如，它會不會像惡意軟件Mirai那樣呢？ 2016年10月21日，Mirai使大片互聯網癱瘓了幾個小時。 當研究人員深入研究Mirai時，他們發現它瞄準那些安全性不足的聯網設備——從安全攝像頭到數字錄像機，然後把它們變成了一群機器人。 在短短幾週內，Mirai感染了50萬台設備，它只需要感染一小部分的設備就可以使得重要的網絡癱瘓數小時。

事實上，Mirai看起來完全不像Stuxnet，後者是2010年在水力發電廠和工廠裝配線的工業控制系統中發現的另一個病毒。 Stuxnet是一種軍用級別的網絡武器；在進行解包分析時，它被發現是專門針對西門子離心機的，當它遇到一個擁有特定數量的此類機器的設施時，它就會爆發。 那個數字對應於一個特定的設施：在伊朗的納坦茲核設施。 一旦啟動，該程序會悄悄降解離心機的關鍵部件，導致它們崩潰並破壞伊朗的鈾濃縮計劃。

該攻擊顯然取得了部分成功，但這種攻擊對其他受感染設施的影響尚不可知。 直到今天，儘管有明顯的嫌疑，但沒有人知道Stuxnet來自哪裡，或者是誰製造的。 也沒有人知道是誰開發了Mirai，或者它的下一個版本可能來自哪裡。 但它現在有可能就在你辦公室的閉路電視攝像頭里，或者在放置於你廚房角落的支持WiFi的水壺裡。

4

或者， 也許攻擊會是這樣的：一系列大片電影變得迎合右翼陰謀和生存主義幻想，從準法西斯主義超級英雄到酷刑和暗殺的辯護 。 在好萊塢，電影公司通過一個叫做Epagogix的公司的神經網絡來運作它們的劇本。 Epagogix系統利用數以百萬計的電影觀眾在過去幾十年裡形成的隱含偏好數據進行了訓練，目的是預測什麼樣的台詞最能引起人們的共鳴——也就是最有利可圖的。

算法引擎借助來自Netflix、Hulu、YouTube和其他網站的數據得到強化，同時能夠了解數百萬視頻觀眾的實時偏好，因此它們能夠獲得某種程度的認知洞察力，這是以往的機製完全無法實現 的。 通過直接滋養消費者的追劇慾望，那種網絡本身就會變得興奮起來： 反思、加強和升高系統固有的偏執性 。

遊戲開發人員在A/B測試界面和對玩家行為的實時監控的指導下，進入無休止的遊戲更新和應用內購買循環當中。 他們對人類產生多巴胺的神經通路有著極為細緻的把握，以至於嚴重上癮的青少年晝夜不停地玩那些遊戲，最終因為精疲力竭而死在電腦前。

或者，“閃電崩盤”也許看起來就像是一場網上人人都能看到的噩夢般的直播？ 2015年夏天，雅典一家醫院的睡眠障礙診所比以往任何時候都忙碌：希臘債務危機正處於最動蕩的時期。 患者當中不乏高級政府官員和公務員，但是那些在夜間監控他們的呼吸、移動甚至大聲說出的夢話的機器，將那些信息以及他們的個人醫療信息發送回了設備製造商位於北歐的診斷數據中心。

什麼樣的竊竊私語才會逃過這些這種設施的追踪呢？

用戶被鼓勵把手機放在床上，以便記錄他們的睡眠模式。 但這些數據都到哪裡去了呢？

我們可以通過將技術附在身體表面來記錄我們日常生活的方方面面，技術提供商讓我們相信自己也可以像設備一樣進行優化和升級。 智能手環和智能手機應用集成了步數計數器和皮膚感應監測器，它們不僅可以跟踪我們的位置，還可以跟踪我們的呼吸和心跳，甚至是我們的腦電波模式。 用戶被鼓勵晚上把手機放在床邊，這樣就可以記錄他們的睡眠模式。 所有的這些數據都跑到哪裡了，誰擁有它，什麼時候有可能會洩露出來？ 關於我們的夢、我們的夜驚和清晨的流汗的數據，變成了進一步驅動冷酷無情和不可理解的系統的燃料。

或者，現實中的“閃電崩盤”看起來就像我們現在正在經歷的一切東西： 經濟不平等日益加劇，全球監控增加，個人自由縮減，跨國公司和神經認知資本主義的勝利，極右翼組織和本土主義意識形態的崛起，自然環境的惡化…… 這些都不是新技術導致的直接結果，但所有這些都是因為普遍無法感知個體和公司行動更廣泛的、網絡化的影響所導致的，而​​那些行動正是由不透明的、技術增強的複雜體系促成 的。

1997年，國際象棋世界冠軍加里·卡斯帕羅夫在紐約與“深藍”進行了第二次對決。 深藍是IBM專門設計用來擊敗該大師級棋手的電腦。 在輸掉比賽以後，他聲稱深藍的一些棋步非常聰明，富有創意，它們一定是人為乾預的結果。 但我們理解深藍為何會作出那些棋步：它的決策過程說到底是一種暴力破解，其背後是一個由1.4萬個定制設計的象棋芯片組成的大規模並行架構，每秒能夠分析2億個 棋盤位置。 卡斯帕羅夫並不是輸在智力上，只是輸在“火力”上而已。

到AlphaGo在2016年與韓國職業圍棋選手李世石較量時，發生了某種變化。 在五局比賽的第二局中，AlphaGo下出了讓李世石十分驚訝的一步棋：將一顆棋子放在棋盤的遠端。 “那步棋非常奇怪。”一位解說員說道。 “我覺得這是一次失誤。”另一位解說員說道。 6個月前，經驗豐富的圍棋手樊麾成為了第一個輸給這台機器的職業選手。 在他看來，“人類是不會這麼下的，我從來沒見過有人這麼做”。

AlphaGo後來贏得了那一局以及整個系列賽。 AlphaGo的工程師訓練該軟件的方式是，給神經網絡輸入涵蓋大師級圍棋棋手數百萬棋步的數據，然後讓它不停地跟自己對戰，開發出超越人類棋手的策略。 但它展現出的那些策略是難以辨認的：我們可以看到它怎麼下，但看不到它背後的決策過程。

。 在班克斯的科幻小說中，他的文化文明是由仁慈的、超智能的人工智能治理的。 雖然Mind最初是由人類創造的，但它們早已重新設計和重構了自己，成為了無所不能的存在。 在控制船隻和行星的時候，在指揮戰爭和照顧數十億人類的時候，Mind也有它們自己的樂趣。 一些Mind有能力在其想像中模擬整個宇宙的運行，它們會永遠地退回極樂空間——一個具有元數學的可能性的領域，只有超人的人工智能才能進入。

5

2016年，谷歌的三個網絡開發了一種私密的加密形式。 那些機器正在學習保守秘密。

我們很多人都熟悉谷歌翻譯，它是在2006年推出的，使用了一種叫做統計語言推理的技術。 該系統並沒有去試圖理解語言的實際機制，而是吸收了大量已有的翻譯資料： 以不同語言提供相同內容的平行文本。 簡單地將一種語言的字詞映射到其它語言的字詞，它免去了習得人類般的理解能力的需要，而是依靠由數據驅動的相關性。

谷歌翻譯因其讓人啼笑皆非的錯誤翻譯結果而被眾人所熟知，但在2016年，該系統開始使用Google Brain開發的神經網絡，其能力呈指數級增長。 該網絡不是簡單地交叉引用成堆的文本，而是構建自己的世界模型。 這麼做帶來的結果不是單詞之間的一組二維連接，而是一整個版圖。 在這個新的體系結構中，單詞在一個含義網格中是根據它們與其它單詞之間的距離進行編碼的——該網格只有計算機才能理解。

雖然人類可以很容易地在“tank”和“water”之間劃一條界線，但要在一張地圖上畫出“tank”和“revolution”間的界限、“water”和“liquidity”之間的 界線以及從那些聯繫中產生的所有情緒和推斷，一下子就變得不可能了。 因此，這張地圖是多維的，延伸的方向比人腦所能理解的要更多。 正如一位谷歌的工程師所說的那樣，當一位記者索要一張這樣的系統的圖像時，他說：“我通常不喜歡嘗試在三維空間中可視化千維向量。”這是機器學習系統理解 語言含義時所在的看不見的空間。 除此之外，對於我們無法想像的空間，我們也無法去理解。

同年，Google Brain的其他研究人員建立了三個網絡，它們分別叫做愛麗絲、鮑勃和伊芙。 他們的任務是學習如何加密信息。 愛麗絲和鮑勃都知道一個數字——一個密碼學術語中的密鑰，而伊芙不知道。 愛麗絲會對一串文本執行一些操作，然後將其發送給鮑勃和伊芙。 如果鮑勃能解碼該信息，愛麗絲的分數就會增加；但是如果伊芙能做到，愛麗絲的分數就會減少。

經過數千次的迭代，愛麗絲和鮑勃學會了在伊芙沒有破解他們密碼的情況下進行通信：他們開發了一種私密的加密形式，它類似於現在用於私人郵件的加密工具。 但關鍵的是，我們不了解這種加密是如何運作的。 它的運行被網絡的深層結構所阻斷。 伊芙不知道的東西，我們也不知道。 那些機器正在學習保守秘密。

6

如何理解和思考我們在世界上的位置，以及我們與他人、機器之間的關係，最終將決定我們的技術將我們帶向什麼地方。

我們不能不思考那種網絡；我們只能把它徹底思考清楚，並在它裡面思考。 那些影響和改變我們當前對現實的看法的技術不會消失，在許多情況下，我們也不應該希望它們消失。 在這個擁有75億人口的星球上，我們目前的生命維持系統依賴於它們。 理解那些系統以及我們在它們的設計中做出的有意識的選擇，仍然完全在我們的能力範圍內。 我們不是無能為力。 我們只需要思考，再思考，持續不斷地思考。

作為工具，計算系統強調人類最強大的一面：

“我們在世界上有效行動，以及根據我們的慾望塑造世界的能力。但揭示和闡明那些慾望，並確保它們不會貶低、否定、抹去或消除他人的慾望，仍然是我們的特權。”

在1997年被擊敗以後，卡斯帕羅夫並沒有放棄比賽。 一年後，他以一種新的形式回到了競技場上：高級象棋或者說半人馬象棋。 在高級國際象棋中，人類是與機器合作，而不是競爭。 很快我們就明白這種模式帶來了有趣的結果。 即便是中等水平的國際象棋對弈中，電腦也能把大多數大師打得一敗塗地；而一個普通水平的棋手聯手一台普通的電腦，就能打敗最高級的超級計算機——這種結合不同思維 方式的玩法，徹底改變了這項比賽。

人機合作是否可行？ 將來又是否准許？ 這些仍有待觀察，畢竟現在有各種各樣的複雜機器和管理系統在開發當中，但相比模糊處理和一方統治，人類和機器共同理解和思考提供了一種更有希望的出路。

技術是我們自身的延伸，被編碼到了機器和基礎設施當中，採用由知識和行動構成的框架。 計算機的存在並不是為了給予我們所有問題的答案，而是為了讓我們以新的方式向宇宙提出新的問題。