今天的人工智慧（AI）處理大部分是在基於雲端的數據中心中完成的。大部分AI處理以深度學習模型訓練為主導，這需要大量的計算能力。在過去的6年中，我們看到計算需求增長了300,000倍，其中圖形處理單元（GPU）提供了大部分支持。
從AI處理的角度來看，AI推理是在訓練後執行的，並且計算強度相對較低，在很大程度上已被忽略。像訓練一樣，推理也主要在數據中心完成。但是，隨著AI應用程式多樣性的增長，基於雲的集中式培訓和推理機制正受到質疑。
為何需要邊緣人工智慧？
當今的AI邊緣處理專注於將AI工作流的推理部分移至設備，從而將數據限制在設備上。AI應用程式遷移到邊緣設備的原因有多種，具體取決於應用程式。在評估雲計算與邊緣處理時，必須考慮隱私，安全性，成本，延遲和帶寬。諸如Google的Learn2Compress之類的模型壓縮技術的影響，該技術可將大型AI模型壓縮為小型硬體尺寸，這也促進了AI邊緣處理的興起。
聯合學習和基於區塊鏈的分散式AI架構也是AI處理向邊緣化轉變的一部分，而部分培訓也可能會向邊緣化發展。根據AI應用程式和設備類別的不同，有幾種用於執行AI邊緣處理的硬體選項。這些選項包括CPU，GPU，ASIC，FPGA和SoC加速器。
什麼是邊緣人工智慧？
邊緣人工智慧將AI移到了真正需要的地方：在設備中，而不是依靠雲端中的伺服器。在繼續之前，我們應該瞭解機器學習如何工作的基礎知識。任何基於機器學習的解決方案的兩個主要階段是訓練和推理，可以描述為：
訓練是一個階段，其中將（非常）大量的已知數據提供給機器學習演算法，以使其“學習”（驚奇）要做什麼。利用該數據，演算法可以輸出包含其學習結果的“模型”。這一步對處理能力的要求很高。
推理是將學習的模型與新數據結合使用，以推理其應識別的內容。訓練階段中的“已知數據”稱為標記數據。這意味著每個數據（聲音，圖像等）都有一個標籤，就像一個小貼紙，描述了它的含義。語音識別AI經過數千小時的標記語音數據訓練，以便從口語句子中提取文本。然後，可以使用自然語言識別來將命令中的文本轉換為電腦可以理解的命令。
一旦訓練完成，模型就需要處理能力的一小部分來執行推理階段。這樣做的主要原因是推論使用一組輸入數據，而訓練通常需要大量樣本。用於推理的生產模型也是“凍結的”（無法再學習），可能修剪了較少的相關功能，並針對目標環境進行了仔細優化。最終結果是它可以直接在嵌入式設備：在邊緣上運行。這樣做可以為設備提供決策權，從而使其具有自主性。那就是邊緣AI！
設備上的邊緣人工智慧的硬體挑戰：晶片中的邊緣人工智慧
像許多新概念一樣，邊緣人工智慧背後的技術已經存在了一段時間：機器學習演算法在電腦和智能手機中很常見，它們在這些設備裏工作得很好。但是嵌入式設備呢？OK，工具和硬體現在可以組合在一起，形成一個有意義的解決方案，這要歸功於：增加設備的處理能力，並提供可為AI（GPU和ASIC）提供硬體加速的模組。
1)不斷改進AI模型及其性能
2）工具和資源的品質，使數據科學家，AI專家和開發人員的開發過程更加輕鬆
這意味著我們現在不僅可以在超級電腦中，而且可以在汽車，智能手機，網頁，Wi-Fi路由器甚至家庭安全系統中集成人工智慧解決方案。
將推理有效地嵌入設備需要什麼？
是的，邊緣人工智慧首先要選擇正確的硬體。
邊緣設備上的AI推理可以在以下幾種硬體上實現：
CPU：在智能手機和嵌入式設備上，任何最新的ARM CPU（Cortex-A7及更高版本）都具有處理它的能力。它可能不是最快或最有效的解決方案，但通常是最簡單的。通常使用TensorFlow Lite，並提供大型TensorFlow框架的關鍵功能。
GPU：對GPU的開箱即用支持會有所不同，但是它們通常確實提供了大吞吐量（i.MX6 Vivante，nVidia Jetson），從而提供了出色的推理頻率和更低的延遲。它還可以減輕CPU的工作量。
AI專用硬體（ASICS，TPU）：這是一個快速增長的類別。這些硬體部件提供了最有效的AI解決方案，但可能會變得昂貴或難以設計。
讓我們在下面深入研究最後兩個解決方案。
一種可能性是利用GPU的處理能力和並行化功能。人工智慧就像具有數百個神經元的虛擬大腦：它看起來非常複雜，但實際上是由大量簡單元素（大腦神經元）組成的。好吧，GPU是為此而製造的！簡單的獨立操作適用於螢幕上的每個點（像素或頂點）。大多數機器學習框架（TensorFlow，Caffe，AML等）都旨在利用存在的正確硬體。 Nvidia板是不錯的選擇，但實際上任何GPU都可以利用。
另一個解決方案是集成專用硬體。可以通過定制硬體來加速機器學習，這兩個競爭者是AI專用晶片和AI ASIC（專用積體電路）。這些正在快速發展！
Google Edge TPU已經在今年三月份正式發佈。ARM也推出了其機器學習和對象檢測處理器，英特爾，微軟和亞馬遜也在開發自己的解決方案。目前，最好的選擇是讓所使用的AI工具支持GPU。 Google Edge TPU已經投入生產，並且推出了多類型的含有TPU晶片的模組化硬體產品，比如PCIe，SoM等等。
但是，除了“前衛”因素之外，我們知道產品中的AI技術以及邊緣人工智慧可以增加巨大的價值。
選擇邊緣人工智慧進行創新的5個理由：
1）脫機可用性：這可能是最明顯的論點。如果無論條件和連接性如何都需要應用程式可用，則必須將智能放置在本地設備中。由於遠程蜂窩數據不穩定，DDoS攻擊後服務中斷或僅僅是因為你的設備正在地下室中使用，會導致連接中斷！對於基於雲的解決方案來說，這是一個巨大的挑戰。但是，如果將智能放在本地設備上，則無需擔心。
2）降低雲服務成本（試問誰不想要？）：雲服務非常方便（可擴展性，可用性），但是卻代表著相當可觀的經常性成本，隨著越來越多的人使用解決方案，這種成本將會增加。這些成本將持續到產品的整個生命週期。但是，如果要出售運行AI的獨立設備，則將大大降低其重複成本和基礎架構需求。
3）限制連接成本：帶寬和蜂窩數據也很昂貴。通過僅發送AI的計算結果，就地處理資訊可以將帳單除以100倍（對於視頻則更多）。對於視頻安全解決方案，兆位元組的視頻將轉換為幾個位元組。對於你的安全監控器，這幾個位元組會說：“這裏沒有竊賊，但是你的狗把家裏弄得一團糟！”。
4）處理機密信息：當可以在本地收集和處理關鍵資訊時，為什麼要在數百公里的線路上發送關鍵資訊？這並不意味著我們不應該擔心設備的安全性，而是要擔心的一件事。這也將使你的客戶感到安心。
5）回應時間至關重要：在本地收集和處理數據很可能會縮短回應時間，從而改善用戶體驗。但是，僅當設備可以足夠快地處理數據時才這樣。
6）環保：好的，雖然僅此一項並不能將公司或產品轉變為環保產品，但在本地處理數據對於製造高效的AI設備無疑是有意義的。中小型物聯網設備每天將發送1MB或更少的記憶體，大約可以每天估算20g的二氧化碳。經過一年的複合，10,000臺設備可產生多達73噸的二氧化碳！在本地進行處理可以將其縮小到730kg，這對地球來說要好得多。並且請記住，基於視頻或圖像的解決方案可能會產生更大的影響。
如果你無法確定其中任何一種情況，那麼最好使用基於雲的標準解決方案。 Microsoft，Amazon和Google服務提供了一個堅實的起點，而許多其他獨立的庫可用於在雲中構建自定義的，更“手工”的解決方案。
Google的邊緣人工智慧解決方案：Google Coral與Edge TPU
Edge TPU是Google專為在邊緣運行TensorFlow Lite ML模型而設計的ASIC晶片。它可以提供低功耗、高性能的機器學習推理。Edge TPU 可用於越來越多的工業使用場景，如預測性維護、異常檢測、機器視覺、機器人學、語音識別等等。它可以應用於製造、本地部署、醫療保健、零售、智能空間、交通運輸等各個領域。它體型小、能耗低，但性能出色，可以在邊緣部署高精度 AI。Edge TPU 是對 CPU、GPU、FPGA 以及其他在邊緣運行 AI 的 ASIC 解決方案的補充。Google Coral系列開發設備均搭載了Edge TPU晶片，使用本地化AI構建智慧產品。通過Coral系列硬體設備及組件、軟體工具和預編譯模型的平臺，可以將設備上的AI應用創意從原型拓展到生產，通過使用本地AI，快速構建高效、私密和離線的人工智慧產品。
Google Coral 系列硬件通過代理商 Gravitylink線上商城，現已在近40個國家/地區發售。Gravitylink 擁有覆蓋亞太、北美、歐洲等地區的銷售網絡，並推出全球首個基於Google Coral 硬件打造的AI 模型交流市場「Model Play」。
如果您對Google Coral Edge TPU系列硬體產品感興趣，歡迎訪問Google Coral代理商Gravitylink在線商城（https://store.gravitylink.com/global）進行訂購。企業以及感興趣的用戶可直接登陸線上商城進行咨詢（也可通過郵件咨詢）(sales@gravitylink.com / market@gravitylink.com)，批量購買可享折扣，並贈送遷移學習平臺及各類模型資源供使用。
從AI處理的角度來看，AI推理是在訓練後執行的，並且計算強度相對較低，在很大程度上已被忽略。像訓練一樣，推理也主要在數據中心完成。但是，隨著AI應用程式多樣性的增長，基於雲的集中式培訓和推理機制正受到質疑。
為何需要邊緣人工智慧？
當今的AI邊緣處理專注於將AI工作流的推理部分移至設備，從而將數據限制在設備上。AI應用程式遷移到邊緣設備的原因有多種，具體取決於應用程式。在評估雲計算與邊緣處理時，必須考慮隱私，安全性，成本，延遲和帶寬。諸如Google的Learn2Compress之類的模型壓縮技術的影響，該技術可將大型AI模型壓縮為小型硬體尺寸，這也促進了AI邊緣處理的興起。
聯合學習和基於區塊鏈的分散式AI架構也是AI處理向邊緣化轉變的一部分，而部分培訓也可能會向邊緣化發展。根據AI應用程式和設備類別的不同，有幾種用於執行AI邊緣處理的硬體選項。這些選項包括CPU，GPU，ASIC，FPGA和SoC加速器。
什麼是邊緣人工智慧？
邊緣人工智慧將AI移到了真正需要的地方：在設備中，而不是依靠雲端中的伺服器。在繼續之前，我們應該瞭解機器學習如何工作的基礎知識。任何基於機器學習的解決方案的兩個主要階段是訓練和推理，可以描述為：
訓練是一個階段，其中將（非常）大量的已知數據提供給機器學習演算法，以使其“學習”（驚奇）要做什麼。利用該數據，演算法可以輸出包含其學習結果的“模型”。這一步對處理能力的要求很高。
推理是將學習的模型與新數據結合使用，以推理其應識別的內容。訓練階段中的“已知數據”稱為標記數據。這意味著每個數據（聲音，圖像等）都有一個標籤，就像一個小貼紙，描述了它的含義。語音識別AI經過數千小時的標記語音數據訓練，以便從口語句子中提取文本。然後，可以使用自然語言識別來將命令中的文本轉換為電腦可以理解的命令。
一旦訓練完成，模型就需要處理能力的一小部分來執行推理階段。這樣做的主要原因是推論使用一組輸入數據，而訓練通常需要大量樣本。用於推理的生產模型也是“凍結的”（無法再學習），可能修剪了較少的相關功能，並針對目標環境進行了仔細優化。最終結果是它可以直接在嵌入式設備：在邊緣上運行。這樣做可以為設備提供決策權，從而使其具有自主性。那就是邊緣AI！
設備上的邊緣人工智慧的硬體挑戰：晶片中的邊緣人工智慧
像許多新概念一樣，邊緣人工智慧背後的技術已經存在了一段時間：機器學習演算法在電腦和智能手機中很常見，它們在這些設備裏工作得很好。但是嵌入式設備呢？OK，工具和硬體現在可以組合在一起，形成一個有意義的解決方案，這要歸功於：增加設備的處理能力，並提供可為AI（GPU和ASIC）提供硬體加速的模組。
1)不斷改進AI模型及其性能
2）工具和資源的品質，使數據科學家，AI專家和開發人員的開發過程更加輕鬆
這意味著我們現在不僅可以在超級電腦中，而且可以在汽車，智能手機，網頁，Wi-Fi路由器甚至家庭安全系統中集成人工智慧解決方案。
將推理有效地嵌入設備需要什麼？
是的，邊緣人工智慧首先要選擇正確的硬體。
邊緣設備上的AI推理可以在以下幾種硬體上實現：
CPU：在智能手機和嵌入式設備上，任何最新的ARM CPU（Cortex-A7及更高版本）都具有處理它的能力。它可能不是最快或最有效的解決方案，但通常是最簡單的。通常使用TensorFlow Lite，並提供大型TensorFlow框架的關鍵功能。
GPU：對GPU的開箱即用支持會有所不同，但是它們通常確實提供了大吞吐量（i.MX6 Vivante，nVidia Jetson），從而提供了出色的推理頻率和更低的延遲。它還可以減輕CPU的工作量。
AI專用硬體（ASICS，TPU）：這是一個快速增長的類別。這些硬體部件提供了最有效的AI解決方案，但可能會變得昂貴或難以設計。
讓我們在下面深入研究最後兩個解決方案。
一種可能性是利用GPU的處理能力和並行化功能。人工智慧就像具有數百個神經元的虛擬大腦：它看起來非常複雜，但實際上是由大量簡單元素（大腦神經元）組成的。好吧，GPU是為此而製造的！簡單的獨立操作適用於螢幕上的每個點（像素或頂點）。大多數機器學習框架（TensorFlow，Caffe，AML等）都旨在利用存在的正確硬體。 Nvidia板是不錯的選擇，但實際上任何GPU都可以利用。
另一個解決方案是集成專用硬體。可以通過定制硬體來加速機器學習，這兩個競爭者是AI專用晶片和AI ASIC（專用積體電路）。這些正在快速發展！
Google Edge TPU已經在今年三月份正式發佈。ARM也推出了其機器學習和對象檢測處理器，英特爾，微軟和亞馬遜也在開發自己的解決方案。目前，最好的選擇是讓所使用的AI工具支持GPU。 Google Edge TPU已經投入生產，並且推出了多類型的含有TPU晶片的模組化硬體產品，比如PCIe，SoM等等。
但是，除了“前衛”因素之外，我們知道產品中的AI技術以及邊緣人工智慧可以增加巨大的價值。
選擇邊緣人工智慧進行創新的5個理由：
1）脫機可用性：這可能是最明顯的論點。如果無論條件和連接性如何都需要應用程式可用，則必須將智能放置在本地設備中。由於遠程蜂窩數據不穩定，DDoS攻擊後服務中斷或僅僅是因為你的設備正在地下室中使用，會導致連接中斷！對於基於雲的解決方案來說，這是一個巨大的挑戰。但是，如果將智能放在本地設備上，則無需擔心。
2）降低雲服務成本（試問誰不想要？）：雲服務非常方便（可擴展性，可用性），但是卻代表著相當可觀的經常性成本，隨著越來越多的人使用解決方案，這種成本將會增加。這些成本將持續到產品的整個生命週期。但是，如果要出售運行AI的獨立設備，則將大大降低其重複成本和基礎架構需求。
3）限制連接成本：帶寬和蜂窩數據也很昂貴。通過僅發送AI的計算結果，就地處理資訊可以將帳單除以100倍（對於視頻則更多）。對於視頻安全解決方案，兆位元組的視頻將轉換為幾個位元組。對於你的安全監控器，這幾個位元組會說：“這裏沒有竊賊，但是你的狗把家裏弄得一團糟！”。
4）處理機密信息：當可以在本地收集和處理關鍵資訊時，為什麼要在數百公里的線路上發送關鍵資訊？這並不意味著我們不應該擔心設備的安全性，而是要擔心的一件事。這也將使你的客戶感到安心。
5）回應時間至關重要：在本地收集和處理數據很可能會縮短回應時間，從而改善用戶體驗。但是，僅當設備可以足夠快地處理數據時才這樣。
6）環保：好的，雖然僅此一項並不能將公司或產品轉變為環保產品，但在本地處理數據對於製造高效的AI設備無疑是有意義的。中小型物聯網設備每天將發送1MB或更少的記憶體，大約可以每天估算20g的二氧化碳。經過一年的複合，10,000臺設備可產生多達73噸的二氧化碳！在本地進行處理可以將其縮小到730kg，這對地球來說要好得多。並且請記住，基於視頻或圖像的解決方案可能會產生更大的影響。
如果你無法確定其中任何一種情況，那麼最好使用基於雲的標準解決方案。 Microsoft，Amazon和Google服務提供了一個堅實的起點，而許多其他獨立的庫可用於在雲中構建自定義的，更“手工”的解決方案。
Google的邊緣人工智慧解決方案：Google Coral與Edge TPU
Edge TPU是Google專為在邊緣運行TensorFlow Lite ML模型而設計的ASIC晶片。它可以提供低功耗、高性能的機器學習推理。Edge TPU 可用於越來越多的工業使用場景，如預測性維護、異常檢測、機器視覺、機器人學、語音識別等等。它可以應用於製造、本地部署、醫療保健、零售、智能空間、交通運輸等各個領域。它體型小、能耗低，但性能出色，可以在邊緣部署高精度 AI。Edge TPU 是對 CPU、GPU、FPGA 以及其他在邊緣運行 AI 的 ASIC 解決方案的補充。Google Coral系列開發設備均搭載了Edge TPU晶片，使用本地化AI構建智慧產品。通過Coral系列硬體設備及組件、軟體工具和預編譯模型的平臺，可以將設備上的AI應用創意從原型拓展到生產，通過使用本地AI，快速構建高效、私密和離線的人工智慧產品。
Google Coral 系列硬件通過代理商 Gravitylink線上商城，現已在近40個國家/地區發售。Gravitylink 擁有覆蓋亞太、北美、歐洲等地區的銷售網絡，並推出全球首個基於Google Coral 硬件打造的AI 模型交流市場「Model Play」。
如果您對Google Coral Edge TPU系列硬體產品感興趣，歡迎訪問Google Coral代理商Gravitylink在線商城（https://store.gravitylink.com/global）進行訂購。企業以及感興趣的用戶可直接登陸線上商城進行咨詢（也可通過郵件咨詢）(sales@gravitylink.com / market@gravitylink.com)，批量購買可享折扣，並贈送遷移學習平臺及各類模型資源供使用。
請按此登錄後留言。未成為會員? 立即註冊