要點:
Yann LeCun所提出的“世界模型”: 它先學習世界運作方式，而后形成一個內部模型，再通過這個內部模型來更快速地學習，為完成復雜任務做出計划，并且隨時應對不熟悉的新情況。而具體到I-JEPA，其在補全圖像的過程中，它比較的是圖像的抽象表徵，而不是比較像素本身。這個方式與我們人類認識世界的方式頗為一致。
致力於傳播優質的中國知識內容、搆建全球新共識。我們將通過一系列時事資訊、精品課程、論壇、節目、咨詢報告等內容產品，提供關於當代中國的最新的輿論思潮、深入的社會觀察、亮眼的科技成就等優質信息。我們已與五大洲十多個國家、百余個研究機搆、媒體機搆、政治團體、民間組織建立合作關系。希望通過我們的工作在海外分享中國經驗，講述中國故事，客觀分析我們共同面對的挑戰和機遇，攜手全球青年尋找全球化發展的新共識。
聯系我們 // Substack // Twitter // YouTube//相關文章
自從ChatGPT問世以來，生成式模型炙手可熱。但是這些模型單純根據概率生成內容，因而無法解決幻覺問題，經常一本正經地胡說八道，讓人詬病。
這也是人工智能領域的大咖Yann LeCun長期以來對GPT頗為不屑的原因，甚至斷言GPT模式活不過5年。那么在Yann LeCun看來究竟哪條技朮路線才是人工智能的正途呢？答案在本周揭曉了。他所領銜的Meta AI剛剛發布了基於圖像的聯合嵌入預測架搆/Image based Joint-Embedding Predictive Architecture，簡稱I-JEPA。
這個模型正是Yann LeCun之前所提出的“世界模型”：它先學習世界運作方式，而后形成一個內部模型，再通過這個內部模型來更快速地學習，為完成復雜任務做出計划，并且隨時應對不熟悉的新情況。而具體到I-JEPA，其在補全圖像的過程中，它比較的是圖像的抽象表徵，而不是比較像素本身。這個方式與我們人類認識世界的方式頗為一致。認知學習理論認為，生物系統中的表徵學習的關鍵在於內部模型逐漸做出調整以預測感官輸入的信息，這搆成了表徵學習背后的驅動機制。而這個理念正是完全自監督學習的核心理念，即去除一部分輸入信息后，學習怎樣預測缺失的那部分內容。
非生成式的自監督學習
在學習外部世界的表徵時，通常使用的是自監督學習的方式，使用未標記的數據，如圖像和聲音，而不是標記過的數據集。
自監督學習一般有3種架搆：聯合嵌入式架搆、生成式架搆、聯合嵌入式預測架搆。
當輸入x和y兼容時，聯合嵌入式架搆學習輸出相似的嵌入；而當輸入不兼容時，則輸出不同的嵌入。生成式架搆學習的是使用解碼器網絡直接從兼容信號x來重搆信號y。聯合嵌入式預測架搆學習的是使用預測器網絡來從兼容信號x來預測信號y的嵌入。
聯合嵌入式預測架搆
I-JEPA作為一種聯合嵌入式預測架搆的自監督學習方法，可以學習高度語義化的圖像表徵，而無需依賴手工設計的數據增強技朮。I-JEPA的關鍵是使用掩蔽策略，即隨機遮擋輸入圖像的部分區域，然后訓練模型根據剩余的上下文預測被遮擋的區域。這促使模型去學習有意義的表徵，從而捕捉圖像的基本結搆。此外，I-JEPA將這種掩蔽策略與視覺Transformer相結合：使用單個上下文塊來預測來自同一圖像的表徵，上下文編碼器是一個視覺Transformer，它只處理可見的上下文。而預測器可以接收上下文編碼器的輸出，并根據目標的位置來預測目標塊的表徵。實驗結果證明了這種方法在生成語義表徵方面的有效性。
這種方式就與生成式模型不同。生成式模型會擦除圖像的一部分或隱藏段落中的一些單詞，再嘗試預測缺失的部分。在這個過程中，生成式模型往往會試圖填補每一段缺失的信息，陷入瑣碎而無關緊要的細節中，比如生成圖片時產生千奇百怪的人手。
相反，I-JEPA用更像人類的方式來預測缺失的信息，用抽象的目標來去掉不需要的像素細節。這樣做，I-JEPA的預測器可以根據一些可看到的上下文，為圖像建立一個模型，也就是有了大局觀，這會幫助它預測圖像中看不到的區域的更高級別的信息，而不是執着於像素級別的細節。為了理解模型捕獲到的信息，研究團隊訓練了一個隨機解碼器，它將I-JEPA模型輸出的表徵映射回像素空間, 從而展示出模型進行預測時的輸出結果。例如，在給定的一張圖像隨機釆樣4個目標塊，然后再隨機釆樣一個上下文塊，并刪除任何重疊的目標塊。利用這個策略，目標塊相對語義化，而上下文塊為了提高處理效率而更稀疏，但信息量大。
預測器的可視化
預測器的可視化對於理解I-JEPA模型的作用至關重要。預測器的作用是基於上下文編碼器的輸出和位置掩蔽標記，預測目標塊指定位置掩蔽標記所對應的表徵。這里的關鍵問題是依靠位置掩蔽標記的預測器是否能正確捕獲目標位置的不確定性。
下面的例子中，第一列包含原始圖像，第二列包含上下文圖像，綠色邊界框包含來自預測器輸出解碼的生成模型的樣本。預測器正確捕捉了位置的不確定性，所產生的部位的姿態也是正確的，比如鳥的背面和車的頂部。
計算效率大大提高
相比其它的方法，I-JEPA具有高度可擴展性。I-JEPA需要較少的計算量就可以獲得很強的效果，而不需要依賴人工設計的數據增強。與MAE之類的方法相比，I-JEPA通過在表徵空間計算目標而慢了約7%的迭代時間。然而，由於I-JEPA大約只需要前者1/5的迭代次數就會收斂，所以在實踐中仍然可以顯著節省計算時間。與基於視覺不變性的方法（如 iBOT）相比，I-JEPA也運行得更快。特別是，I-JEPA的巨大模型（ViT-H/14）所需要的計算量少於iBOT的小模型（ViT-S/16）。I-JEPA在訓練中學到的表徵也可以直接用於其他任務，而無需進行大量的微調。比如在ImageNet-1K線性探測和半監督評估中，它還優於像素和標記重建方法。
I-JEPA的這個優勢讓Yann LeCun團隊只用了16個A100 GPU在不到72小時的時間內，就訓練出了一個6.32億參數的視覺變換器模型，并在ImageNet的低樣本分類上取得了最先進的性能。而每個類別只有12個標記示例。其他方法通常需要高達2到10倍 GPU小時，并且使用相同數量的數據進行訓練時，錯誤率也更高。
I-JEPA是一種簡單高效的方法來學習圖片語義表徵，且不依賴人工制作的知識作為額外的輔助。相比於日益閉源的OpenAI，Meta AI研究團隊將開源I-JEPA的訓練代碼和模型檢查點，并且下一步將擴展該方法到其他領域，例如圖像-文本配對數據和視頻數據，這也將是應用和擴展自監督方法來學習世界模型的重要一步。借此，未來的人工智能將具備常識、真正理解世界，走向通往AGI的快車道。
致力於傳播優質的中國知識內容、搆建全球新共識。我們將通過一系列時事資訊、精品課程、論壇、節目、咨詢報告等內容產品，提供關於當代中國的最新的輿論思潮、深入的社會觀察、亮眼的科技成就等優質信息。我們已與五大洲十多個國家、百余個研究機搆、媒體機搆、政治團體、民間組織建立合作關系。希望通過我們的工作在海外分享中國經驗，講述中國故事，客觀分析我們共同面對的挑戰和機遇，攜手全球青年尋找全球化發展的新共識。
聯系我們 // Substack // Twitter // YouTube//相關文章
