在現今，商業或社交網站都存在著大量的“深度學習”算法。在過去的十年中，這些強大的人工智慧（AI）工具已經越來越成功地應用于圖像分析，語音識別，翻譯和許多其他任務。實際上，這些算法的計算和功率要求構成了現在數據中心的主要需求，而且仍在增長。
研發設計人員經常將大部分高度并行計算卸載到商業硬件上，尤其是最初為快速圖像渲染而開發的圖形處理單元（GPU）。這些芯片特別適合于計算密集型“訓練”階段，該階段使用許多經過驗證的示例來調整系統參數。 “推理”階段，其中部署深度學習來處理新穎的輸入，需要更大的存儲器訪問和快速響應，但是歷史上也已經用GPU實現。
然而，為了應對快速增長的需求，公司正在競相開發更直接賦予深度學習能力的硬件，最迫切需要進行推理以及培訓。大多數工作都集中在“加速器”上，這些加速器與GPU一樣，在通用處理器的松散方向下快速執行其專門任務，盡管也正在探索完整的專用系統。本文所聯系的大多數公司都沒有回應或拒絕在這個快速發展和競爭激烈的領域討論他們的計劃。
深度神經網絡
自20世紀80年代以來使用的神經網絡受到人腦大腦簡化模型的啟發。 深度學習技術使神經網絡具有更高級別的復雜性，通過計算能力的大幅增加以及在特定域中訓練系統所需的大型驗證示例數據庫的可用性，其成功實現了它們。
“深層”神經網絡將神經元排列成層（多達數十層），逐步“推斷”輸入數據的更抽象表示，最終導致其結果; 例如，翻譯的文本，或識別圖像是否包含行人。
當網絡最終用于推理時，權重通常在系統暴露于新輸入時保持固定。 層中的每個神經元執行獨立計算（將其每個輸入乘以相關權重，添加乘積，并進行非線性計算以確定輸出）。 伊利諾伊大學厄巴納 - 香檳分校的計算機科學家克里斯托弗弗萊徹表示，大部分計算都可以作為矩陣乘法，這可以讓許多步驟同時完成，并且“看起來像我們一直在解決的問題 在很長一段時間內在GPU和高性能計算上。“
定制化硬件
在推理過程中，與離線培訓不同，無論是在自動駕駛汽車還是在Web應用程序中，快速響應都至關重要。 “延遲是云提供商最重要的事情，”弗萊徹指出。相比之下，他說，傳統的“GPU是專為那些不關心延遲的人而設計的，但是有很多工作，只要他們獲得全部吞吐量，一切都會好起來的。”
認識到響應時間的重要性以及預測神經網絡應用不斷增加的功率需求，云計算巨頭谷歌開發了自己的專用集成電路（ASIC），稱為“張量處理單元”（TPU），用于推理。谷歌在2017年報告說，在其數據中心，TPU運行常見的神經網絡比現代CPU或GPU快15到30倍，并且相同的計算性能（每秒操作數）使用了30到80倍的功率。為了保證低延遲，設計人員簡化了硬件并省略了使現代處理器忙碌的常見功能，但也需要更多功率。關鍵矩陣乘法單元使用“收縮”設計，其中數據在操作之間流動而不返回到存儲器。
到目前為止，谷歌在設計自己的芯片方面似乎并不常見，而不是采用商用替代品。
但是谷歌也發布自己的TPU以及Edge TPU——TPU是針對TensorFlow上的機器學習工作負載量身定制的定制應用專用集成電路（ASIC）。 去年，谷歌宣稱它的TPU比現代GPU和推理CPU快15到30倍，并且TOPS / Watt測量值提高了30-80倍。并且谷歌在同年還發布了用于邊緣計算的Edge TPU，以及相關設備：AIY Projects Edge TPU Dev Board和Edge TPU Accelerator 圍繞谷歌新推出的專用邊緣TPU。
例如，微軟一直在使用現場可編程門陣列（FPGA），它可以在部署后重新布線以執行特定的電路功能。 Facebook正在與英特爾合作評估其ASIC，稱為神經網絡處理器。該芯片針對人工智慧應用，在英特爾于2016年收購的Nervana開始的。不出所料，Nvidia已經是GPU的主要供應商，已經發布了更新的設計，據說它將更好地支持神經網絡應用。推理和培訓。
這些芯片遵循其他專業應用程序（如游戲）所熟悉的策略。將繁重的計算分配給共享具有通用處理器和存儲器的總線的專用加速器芯片允許快速實現新想法，并且允許芯片設計者專注于專用電路，假設所有需要的數據將在手邊。然而，Fletcher表示，這種“最簡單”方法造成的內存負擔很可能導致系統集成更緊密，例如將加速器功能帶到處理器的片上。 “我認為我們將不可避免地看到世界朝這個方向發展。”
神經形態硬件
新芯片利用的一種技術是使用低精度，通常是定點數據，8位甚至更少，特別是對于推理。 伊利諾伊州的弗萊徹說：“精確是現在深入學習研究的狂野西部。” “就硬件加速器而言，所有這些問題中的一個主要問題是，在不降低分類準確度的情況下，你能在多大程度上實現這一目標？”
來自谷歌，英特爾和其他公司的結果表明，在正確準備數據時，這種低精度計算可能非常強大，這也為新型電子產品提供了機會。實際上，神經網絡受到生物大腦的啟發，并且20世紀80年代的研究人員使用模仿大腦架構特征的專用硬件來實現它們。即使在過去十年中，美國和歐洲的大型政府資助計劃都采用“神經形態”芯片，這些芯片以生物學為基礎的原則運作，以提高性能并提高能效。例如，這些項目中的一些直接硬連接到單個電子神經元的許多輸入，而其他項目使用短的異步電壓尖峰（如生物神經元）進行通信。然而，盡管如此，新的AI芯片都使用傳統的數字電路。
“任何非常節能的系統都會非常稀疏，”普拉特說，最好的例子是我們的大腦以低于20瓦的功率實現的驚人的計算能力。
雖然功率對于數據中心尤其是手持設備至關重要，但普拉特指出，即使是汽車也可能面臨嚴峻的電力挑戰。 原型高級安全和自動驅動功能需要數千瓦，但需要更多才能接近人類能力，普拉特認為硬件最終需要利用更多的神經形態原理。 “我非常樂觀，即將發生，”他說。 “它還沒有發生，因為在效率和原始計算能力方面都有很多性能改進，用傳統方法開采，但我們將耗盡。”
研發設計人員經常將大部分高度并行計算卸載到商業硬件上，尤其是最初為快速圖像渲染而開發的圖形處理單元（GPU）。這些芯片特別適合于計算密集型“訓練”階段，該階段使用許多經過驗證的示例來調整系統參數。 “推理”階段，其中部署深度學習來處理新穎的輸入，需要更大的存儲器訪問和快速響應，但是歷史上也已經用GPU實現。
然而，為了應對快速增長的需求，公司正在競相開發更直接賦予深度學習能力的硬件，最迫切需要進行推理以及培訓。大多數工作都集中在“加速器”上，這些加速器與GPU一樣，在通用處理器的松散方向下快速執行其專門任務，盡管也正在探索完整的專用系統。本文所聯系的大多數公司都沒有回應或拒絕在這個快速發展和競爭激烈的領域討論他們的計劃。
深度神經網絡
自20世紀80年代以來使用的神經網絡受到人腦大腦簡化模型的啟發。 深度學習技術使神經網絡具有更高級別的復雜性，通過計算能力的大幅增加以及在特定域中訓練系統所需的大型驗證示例數據庫的可用性，其成功實現了它們。
“深層”神經網絡將神經元排列成層（多達數十層），逐步“推斷”輸入數據的更抽象表示，最終導致其結果; 例如，翻譯的文本，或識別圖像是否包含行人。
當網絡最終用于推理時，權重通常在系統暴露于新輸入時保持固定。 層中的每個神經元執行獨立計算（將其每個輸入乘以相關權重，添加乘積，并進行非線性計算以確定輸出）。 伊利諾伊大學厄巴納 - 香檳分校的計算機科學家克里斯托弗弗萊徹表示，大部分計算都可以作為矩陣乘法，這可以讓許多步驟同時完成，并且“看起來像我們一直在解決的問題 在很長一段時間內在GPU和高性能計算上。“
定制化硬件
在推理過程中，與離線培訓不同，無論是在自動駕駛汽車還是在Web應用程序中，快速響應都至關重要。 “延遲是云提供商最重要的事情，”弗萊徹指出。相比之下，他說，傳統的“GPU是專為那些不關心延遲的人而設計的，但是有很多工作，只要他們獲得全部吞吐量，一切都會好起來的。”
認識到響應時間的重要性以及預測神經網絡應用不斷增加的功率需求，云計算巨頭谷歌開發了自己的專用集成電路（ASIC），稱為“張量處理單元”（TPU），用于推理。谷歌在2017年報告說，在其數據中心，TPU運行常見的神經網絡比現代CPU或GPU快15到30倍，并且相同的計算性能（每秒操作數）使用了30到80倍的功率。為了保證低延遲，設計人員簡化了硬件并省略了使現代處理器忙碌的常見功能，但也需要更多功率。關鍵矩陣乘法單元使用“收縮”設計，其中數據在操作之間流動而不返回到存儲器。
到目前為止，谷歌在設計自己的芯片方面似乎并不常見，而不是采用商用替代品。
但是谷歌也發布自己的TPU以及Edge TPU——TPU是針對TensorFlow上的機器學習工作負載量身定制的定制應用專用集成電路（ASIC）。 去年，谷歌宣稱它的TPU比現代GPU和推理CPU快15到30倍，并且TOPS / Watt測量值提高了30-80倍。并且谷歌在同年還發布了用于邊緣計算的Edge TPU，以及相關設備：AIY Projects Edge TPU Dev Board和Edge TPU Accelerator 圍繞谷歌新推出的專用邊緣TPU。
例如，微軟一直在使用現場可編程門陣列（FPGA），它可以在部署后重新布線以執行特定的電路功能。 Facebook正在與英特爾合作評估其ASIC，稱為神經網絡處理器。該芯片針對人工智慧應用，在英特爾于2016年收購的Nervana開始的。不出所料，Nvidia已經是GPU的主要供應商，已經發布了更新的設計，據說它將更好地支持神經網絡應用。推理和培訓。
這些芯片遵循其他專業應用程序（如游戲）所熟悉的策略。將繁重的計算分配給共享具有通用處理器和存儲器的總線的專用加速器芯片允許快速實現新想法，并且允許芯片設計者專注于專用電路，假設所有需要的數據將在手邊。然而，Fletcher表示，這種“最簡單”方法造成的內存負擔很可能導致系統集成更緊密，例如將加速器功能帶到處理器的片上。 “我認為我們將不可避免地看到世界朝這個方向發展。”
神經形態硬件
新芯片利用的一種技術是使用低精度，通常是定點數據，8位甚至更少，特別是對于推理。 伊利諾伊州的弗萊徹說：“精確是現在深入學習研究的狂野西部。” “就硬件加速器而言，所有這些問題中的一個主要問題是，在不降低分類準確度的情況下，你能在多大程度上實現這一目標？”
來自谷歌，英特爾和其他公司的結果表明，在正確準備數據時，這種低精度計算可能非常強大，這也為新型電子產品提供了機會。實際上，神經網絡受到生物大腦的啟發，并且20世紀80年代的研究人員使用模仿大腦架構特征的專用硬件來實現它們。即使在過去十年中，美國和歐洲的大型政府資助計劃都采用“神經形態”芯片，這些芯片以生物學為基礎的原則運作，以提高性能并提高能效。例如，這些項目中的一些直接硬連接到單個電子神經元的許多輸入，而其他項目使用短的異步電壓尖峰（如生物神經元）進行通信。然而，盡管如此，新的AI芯片都使用傳統的數字電路。
“任何非常節能的系統都會非常稀疏，”普拉特說，最好的例子是我們的大腦以低于20瓦的功率實現的驚人的計算能力。
雖然功率對于數據中心尤其是手持設備至關重要，但普拉特指出，即使是汽車也可能面臨嚴峻的電力挑戰。 原型高級安全和自動驅動功能需要數千瓦，但需要更多才能接近人類能力，普拉特認為硬件最終需要利用更多的神經形態原理。 “我非常樂觀，即將發生，”他說。 “它還沒有發生，因為在效率和原始計算能力方面都有很多性能改進，用傳統方法開采，但我們將耗盡。”
請按此登錄後留言。未成為會員? 立即註冊