谷歌設計了一款低功耗版本的本土AI數學加速器,被稱為Edge TPU,并承諾在10月份之前將其發布給開發人員。
ASIC是今天在2018年的Google宣布,ASIC是其Tensor Processing Unit(TPU)系列內部設計協處理器的縮減版。TPU在內部用于為其基于機器學習的服務提供支持,或者可通過其公共云租用。這些芯片專門設計用于訓練神經網絡并進行推理。
現在,這個網絡巨頭已經開發出一種適用于在物聯網網關中運行的僅限于推斷的推理版本。我們的想法是,您家中,工廠,辦公室,醫院等都有一堆傳感器和設備連接到其中一個網關,然后連接到云端的Google后端服務以進行其他處理。
網關內部是Edge TPU,可能還有圖形處理器,以及運行Linux或Android和Google的Cloud IoT Edge軟件堆棧的通用應用程序處理器。該堆棧包含基于Tensorflow的輕量級庫和模型,可訪問Edge TPU以在硬件中高速執行AI任務。如有必要,還可以在應用程序CPU和GPU核心上執行此工作。如果您愿意,可以使用自己的自定義模型。
堆棧確保網關和后端之間的連接是安全的。如果您愿意,您可以使用Google的Cloud TPU訓練神經網絡模型,并讓Edge TPU在本地執行推理。
AIY Edge TPU Dev 開發板是一體化開發板,可以用來對要求快速 ML 推理的嵌入式系統進行原型設計。其基板可提供您對設備進行高效原型開發所需的全部外設連接,包括一個可與各種電氣元件集成的 40 引腳 GPIO 接頭。其另一特點在于,當您準備好擴展后,可以將其可移動模塊化系統 (SOM) 子板直接集成到您自己的硬件中。
AIY Edge TPU 加速器是一個適用于您現有系統的神經網絡協處理器。這個小巧的 USB-C 設備可以連接到任何基于 Linux 的系統,執行 ML 推理加速。其外殼上有多個安裝孔,可以連接主機板(例如 Raspberry Pi Zero)或您的自定義設備。
其目標是使用來自傳感器和設備的傳入數據盡可能多地在網關上進行AI推理,這意味著在小工具和后端互聯網服務器之間來回傳遞的信息更少,這意味著更低的延遲和更快的決策,更少的帶寬消耗,并降低數據安全風險。
我們被告知Edge TPU使用PCIe或USB與主機片上系統接口,可以使用8位和16位整數精度,以高達每秒30幀的速度對實時視頻執行推理任務。這表明硬件的一個黃金時段用途是分析家庭或工作場所中的特定物體,人物,運動等的攝像機信號源。
search'n'ads goliath正在與恩智浦和Arm以及Accton,Harting,Hitachi Vantara,Nexcom和諾基亞合作生產芯片和網關。一個網關開發工具包 - 如下圖所示 - 在模塊上使用基于Arm的NXP片上系統,Wi-Fi控制器,安全元件和Edge TPU,顯然可以在今年10月之前訂購。
我們注意到它似乎還包括HDMI,USB和以太網接口,以及可能的通用IO引腳。
“邊緣TPU是谷歌專用的ASIC芯片,專為在邊緣運行TensorFlow Lite ML模型而設計,”谷歌的物聯網在宣布該技術時說道。
“在設計Edge TPU時,我們專注于優化'每瓦性能'和'每美元性能',占地面積小。邊緣TPU旨在補充我們的云TPU產品,因此您可以在云中加速ML培訓,然后在邊緣具有閃電般快速的ML推理。您的傳感器不僅僅是數據收集器 - 它們可以做出本地的,實時的,智能的決策。“
這實際上是谷歌回應了物聯網網關硬件和后端服務的回應,這些服務由Arm和微軟分別推出,具有獎勵推斷硬件加速和即付即用的谷歌云鎖定功能。請參閱開發人員套件,保留每月軟件即服務和在線存儲支付。
當然,Arm和其他芯片設計師擁有自己的物聯網和小工具級機器學習加速器產品。這里有趣的是谷歌讓人們直接接觸TPU家族的成員 - 因為這是一系列定制芯片。
ASIC是今天在2018年的Google宣布,ASIC是其Tensor Processing Unit(TPU)系列內部設計協處理器的縮減版。TPU在內部用于為其基于機器學習的服務提供支持,或者可通過其公共云租用。這些芯片專門設計用于訓練神經網絡并進行推理。
現在,這個網絡巨頭已經開發出一種適用于在物聯網網關中運行的僅限于推斷的推理版本。我們的想法是,您家中,工廠,辦公室,醫院等都有一堆傳感器和設備連接到其中一個網關,然后連接到云端的Google后端服務以進行其他處理。
網關內部是Edge TPU,可能還有圖形處理器,以及運行Linux或Android和Google的Cloud IoT Edge軟件堆棧的通用應用程序處理器。該堆棧包含基于Tensorflow的輕量級庫和模型,可訪問Edge TPU以在硬件中高速執行AI任務。如有必要,還可以在應用程序CPU和GPU核心上執行此工作。如果您愿意,可以使用自己的自定義模型。
堆棧確保網關和后端之間的連接是安全的。如果您愿意,您可以使用Google的Cloud TPU訓練神經網絡模型,并讓Edge TPU在本地執行推理。
AIY Edge TPU Dev 開發板是一體化開發板,可以用來對要求快速 ML 推理的嵌入式系統進行原型設計。其基板可提供您對設備進行高效原型開發所需的全部外設連接,包括一個可與各種電氣元件集成的 40 引腳 GPIO 接頭。其另一特點在于,當您準備好擴展后,可以將其可移動模塊化系統 (SOM) 子板直接集成到您自己的硬件中。
AIY Edge TPU 加速器是一個適用于您現有系統的神經網絡協處理器。這個小巧的 USB-C 設備可以連接到任何基于 Linux 的系統,執行 ML 推理加速。其外殼上有多個安裝孔,可以連接主機板(例如 Raspberry Pi Zero)或您的自定義設備。
其目標是使用來自傳感器和設備的傳入數據盡可能多地在網關上進行AI推理,這意味著在小工具和后端互聯網服務器之間來回傳遞的信息更少,這意味著更低的延遲和更快的決策,更少的帶寬消耗,并降低數據安全風險。
我們被告知Edge TPU使用PCIe或USB與主機片上系統接口,可以使用8位和16位整數精度,以高達每秒30幀的速度對實時視頻執行推理任務。這表明硬件的一個黃金時段用途是分析家庭或工作場所中的特定物體,人物,運動等的攝像機信號源。
search'n'ads goliath正在與恩智浦和Arm以及Accton,Harting,Hitachi Vantara,Nexcom和諾基亞合作生產芯片和網關。一個網關開發工具包 - 如下圖所示 - 在模塊上使用基于Arm的NXP片上系統,Wi-Fi控制器,安全元件和Edge TPU,顯然可以在今年10月之前訂購。
我們注意到它似乎還包括HDMI,USB和以太網接口,以及可能的通用IO引腳。
“邊緣TPU是谷歌專用的ASIC芯片,專為在邊緣運行TensorFlow Lite ML模型而設計,”谷歌的物聯網在宣布該技術時說道。
“在設計Edge TPU時,我們專注于優化'每瓦性能'和'每美元性能',占地面積小。邊緣TPU旨在補充我們的云TPU產品,因此您可以在云中加速ML培訓,然后在邊緣具有閃電般快速的ML推理。您的傳感器不僅僅是數據收集器 - 它們可以做出本地的,實時的,智能的決策。“
這實際上是谷歌回應了物聯網網關硬件和后端服務的回應,這些服務由Arm和微軟分別推出,具有獎勵推斷硬件加速和即付即用的谷歌云鎖定功能。請參閱開發人員套件,保留每月軟件即服務和在線存儲支付。
當然,Arm和其他芯片設計師擁有自己的物聯網和小工具級機器學習加速器產品。這里有趣的是谷歌讓人們直接接觸TPU家族的成員 - 因為這是一系列定制芯片。
請按此登錄後留言。未成為會員? 立即註冊