要點:
人工智能系統做出最終決定背后的執行邏輯。而這一問題，被科學家們稱之為的“黑盒子問題”。人工智能在“深度學習”下導致，一旦產生負面的結果，它將很難被修復。除此以外，“黑盒子問題”也有道德層面的影響。“黑盒子問題”的產生有不同的說法，也引起了公眾的廣泛注意。
科技正以前所未有的速度和規模發展，引發多個領域的變革，塑造了新的商業模式，甚至重塑了全新社會結構。我們一起，從科技創新中洞察社會轉型和升級的機遇。
狂呼科技研究所聚焦科技創新對當今世界的影響，以獨特、前瞻的科技視角，洞察科技時代下涌現的“創新革命”。
狂呼，以最具突破性的技朮塑造我們的未來，為大眾捕捉科技商業先機，探索當今人類社會面臨的重大挑戰。
聯系我們 // 相關文章
雖然人工智能可以完成許多連人類都無法做到的驚人事情，但在很多情況下，我們卻不知道人工智能系統做出最終決定背后的執行邏輯。而這一問題，對我們尤為重要。這就是科學家們稱之為的“黑盒子問題”。
問題的症結所在
“舉一反三”的學習理念是推動智能發展的最強大力量之一，無論你是在談論人類還是人工智能。例如，想一想孩子們最初是如何學會識別字母表中的字母或不同動物。你只需向他們展示足夠多的字母B或貓的例子，不久之後，他們就能識別出該字母或動物的任何實例。背后的基本理論其實很簡單，大腦是一個發現搜索機器，當它接觸到示例時，它可以識別貓性或B性所必須具備的要素，這些要素最終會合併整合在一起，使我們能夠自動和無意識地對新接觸的物體進行快速的分類。這對我們平日生活來說很容易，但要解釋這一切的背后是如何運作幾乎是很難回答。“這是你知道的那些奇怪事情之一，但你不知道你是怎麼知道的，也不知道你是從哪裡學到的。”專門研究人工智能的電氣和計算機工程研究人員說到。“不是你忘記了，而是你忘記了哪些“輸入”指令教會了你什麼，而你剩下的只有具體做出的每一個判斷。”
“深度學習”是最普遍的現代人工智能形式之一，其工作方式大致與人類相同，這在很大程度上是因為它受到了“人類智能”理論的啟發。
事實上，“深度學習”算法的訓練方式與我們教孩子的方式非常相似。你向系統輸入你希望它能夠識別的事物的相關正確示例，不久之後，它自己就會形成一個“神經網絡”，用於對它以前從未經歷過的事物進行一一分類。例如，在你的照片應用程序搜索欄中輸入關鍵字“貓”， 或是你最喜歡的一隻貓的名字，你就會看到“深度學習”下的人工智能快速搜索出你想要的准確內容。但可怕之處在於，就像我們的“人類智能”一樣，我們同樣不知道人工智能是如何通過“深度學習”從而得出結論，它像我們人類一樣，也“忘記了”很久以前為其決策提供信息的所有“輸入”指令，或者，更準確地說，它從來沒有註意並跟蹤任何“輸入”指令。
“黑盒子問題”的產生有不同的說法，因此引起了公眾的注意。首先，人工智能在“深度學習”下導致，一旦產生負面的結果，它將很難被修復。例如，一輛自動駕駛汽車在我們預測它會剎車時卻意外撞到行人，那麼系統的黑匣子性質意味著我們根本無法追蹤人工智能系統的思考全過程，也無法了解它為什麼會做出這個的錯誤決定。如果發生這種類型的事故，結果證明是因為感知系統失誤而撞到行人，我們則會假設這是因為系統在特殊情況下遇到了一些新事物才導致了意外。然後，我們會嘗試推測接下來它可能會發生的情況，以及出現不同問題時的解決方案，以便它下次能夠更好地執行任務避免失誤。
這種“意外性”問題使我們很難在安全方面完全信任人工智能的“深度學習”能力。除此以外，“黑盒子問題”也有道德層面的影響。
人工智能下的“深度學習”，現在經常用於對人類做出判斷，範圍從醫療、金融貸款、工作面試篩選等等。一定程度上，人工智能能減少我們人類世界中不需要的偏見。但是，當一個經過“深度學習”的人工智能拒絕了你的貸款或將你排除在第一輪工作面試之外卻無法給予你合理解釋時，也會讓大多數人質疑到底人工智能是否“公平”。
對於“黑盒子問題”，我們又能做些什麼？
目前我們能做的有以下兩個方面。一是停止在高風險的應用中使用人工智能。例如，歐盟現在正在創建一個監管框架，它將潛在的應用程序按不同的風險類別進行分類。并且，禁止在危害可能性高的領域（如金融和刑事司法）使用人工智能系統。但，允許在聊天機器人、垃圾郵件過濾器、搜索和視頻遊戲等風險較低的應用程序中繼續使用人工智能。
二是找到一種方法來監測“黑盒子”。所謂的“可解釋的人工智能”在很大程度上仍是一個新興領域，但計算機科學家對如何使人工智能的“深度學習”更加透明，目前有不同的方法模型。但我們本質上需要一種方法來弄清楚，到底是哪些場景下的哪些“輸入”指令導致了人工智能做出不同結果的最終決定。它可能涉及尋找相關性的經典數據科學方法，或涉及更大的搜索網絡，但無論哪種方式，都需要更多的數據和研究去支撐以了解它背后的執行邏輯，這是一個非常懸而未決的重要問題。
歸根結底，人工智能應該在我們的生活中扮演什麼角色？這個問題可能和我們在思考人類智能時有異曲同工之妙。
毫無疑問，人工智能有巨大的潛力，但當你進入金融、醫療保健或國防等領域時，它也許會變得無法想象的可怕。你意識到我們在使用人工智能幫助更高效、全面地解決問題時，它可能伴隨著一定的風險并同時學會了我們的思維方式。如果我們可以讓時光倒流30年，提前了解我們現在所知道關於人工智能的一切，我們還會不會讓人工智能產生，并對人們產生影響？
