andrej(andrej怎么讀)

機器之心報道

機器之心編輯部

為了重拾自己對 AI 開源和教育的熱情，Andrej Karpathy 在家錄了一個詳解反向傳播的課程。

前段時間，特斯拉 AI 高級總監、自動駕駛 Autopilot 負責人 Andrej Karpathy 在推特上宣布自己即將離職，并表示從今年三月份開始，自己已休假四個月。

在休假的這段時間，Karpathy 也沒有閑著，自己在家錄了個課程。視頻內容長達 2 小時 25 分鐘，基于 micrograd 詳細介紹了神經網絡和反向傳播。

對于這門課程，Karpathy 自信地表示：「這是 8 年來領域內對神經網絡和反向傳播的最佳講解。」

視頻地址：https://twitter.com/karpathy/status/1559672719414681601

Karpathy 還在個人推特上打起了賭：只要你懂 Python，并能模糊記起高中學過的求導知識，看了這個視頻你還不理解反向傳播和神經網絡核心要點的話，那我就吃一只鞋。

言外之意這門課程只需觀看者掌握基本的 Python 編程技能和高中微積分的簡單知識，非常適合零基礎的同學在線學習。

有網友調侃到雖然自己很想看 Karpathy 直播吃鞋，但他相信 Karpathy 的視頻課程不會讓人失望的。

課程內容

接近 2 個半小時的視頻按照時間段劃分了近 20 個小部分，主要包括以下內容。

micrograd 項目概述。2020 年 4 月，Karpathy 開源了其編寫的微型 autograd 引擎 micrograd，其中用 100 行代碼實現了針對動態構建的 DAG 的反向傳播算法，并用 50 行代碼實現了類 PyTorch API 的庫。目前，micrograd 項目的 GitHub Star 量已達 2.2k。

項目地址：https://github.com/karpathy/micrograd/

然后 Karpathy 介紹了只有一個輸入的簡單函數的導數和具有多個輸入的簡單函數的導數、啟動 micrograd 的核心 Value 對象及其可視化的方法，并舉了兩個手動反向傳播的例子。

接下來 Karpathy 系統地介紹了：

為單個操作實現反向傳播；為整個表達式圖實現反向函數；修復一個節點多次出現的反向傳播 bug；使用更多操作替換 tanh 激活函數；用 PyTorch 實現上述操作，并與 micrograd 進行比較；用 micrograd 構建一個神經網絡庫 (MLP)；創建一個微型數據集，編寫損失函數；收集神經網絡的所有參數；手動做梯度下降優化，訓練網絡。

最后 Karpathy 總結了反向傳播與現代神經網絡的關系。此外，Karpathy 還在視頻中探究了 PyTorch 中 tanh 激活函數的反向傳播機制。

Andrej Karpathy

個人主頁：https://karpathy.ai/

2005-2009 年，Andrej Karpathy 本科就讀于加拿大多倫多大學，主修計算機科學與物理，輔修數學。在這里，他第一次接觸到深度學習，聆聽 Hinton 的課程。

2009 -2011 年，Karpathy 碩士就讀于加拿大不列顛哥倫比亞大學，其導師為計算機科學系教授 Michiel van de Panne，主要研究物理模擬中用于敏捷機器人的機器學習。

2011-2016 年，Karpathy 博士就讀于斯坦福大學，師從著名 AI 學者李飛飛，專注于研究卷積 / 循環神經網絡以及它們在計算機視覺、自然語言處理和交叉領域的應用。期間，他設計并擔任斯坦福首個深度學習課程《CS231n：卷積神經網絡與視覺識別》的主要講師。

與此同時，Karpathy 還有三段實習經歷。2011 年，他進入發展初期的谷歌大腦實習，致力于視頻領域的大規模無監督學習。之后的 2013 年，他再次在谷歌研究院實習，從事 YouTube 視頻的大規模監督學習。2015 年，他在 DeepMind 實習，參與深度強化學習團隊的工作。

Karpathy 是 OpenAI 的創始成員和研究科學家。僅一年多后，2017 年，Karpathy 接受馬斯克的邀請加入特斯拉，接替了當時的特斯拉 Autopilot 負責人、蘋果 Swift 語言、LLVM 編譯器之父 Chris Lattner。

五年里，Karpathy 一手促成了 Autopilot 的開發。隨著特斯拉從最開始的自動駕駛慢慢擴展到更廣泛的人工智能領域，Karpathy 也被提為特斯拉的 AI 高級總監，直接向馬斯克匯報工作。

現在根據領英上的資料顯示，Karpathy 已于 7 月離開特斯拉。

至于離開特斯拉，接下來要做什么，此前 Karpathy 透漏還沒有具體的安排，但希望重拾自己長久以來對 AI 技術工作、開源和教育等方面的熱情。