不久前,意法半導體也推出了內置智能傳感器處理單元 (ISPU) 的慣性傳感器ISM330ISN。ISM330ISN內置的智能技術賦能智能設備在傳感器中執行**運動檢測功能,而無需與外部微控制器 (MCU)交互,從而降低了系統級功耗。
意法半導體的方法是直接在傳感器芯片上集成為機器學習應用優化的專用處理器 ISPU。意法半導體的 ISPU基于數字信號處理 (DSP) 架構,極其緊湊和節能,具有 40KB 的 RAM內存。ISPU 執行單精度浮點運算,是設計機器學習應用和二元神經網絡的理想選擇。
這個智能內核占用的芯片面積非常小,因此,ISM330ISN模塊的封裝面積比典型的在封裝內整合MCU的傳感器解決方案小50%,功耗低 50%。
意法半導體模擬 MEMS 和傳感器產品部營銷總經理 Simone Ferri 表示,智能從前是部署在網絡邊緣的應用處理器上,而現在正在轉向深度邊緣的傳感器內部。ISM330ISN IMU 預示著新一類智能傳感器的來臨,即開始利用嵌入式 AI 處理復雜任務,比如模式識別和異常檢測,可以大大提高系統能效和性能。
其實早在2020年,索尼就宣布推出了兩款AI圖像傳感器——IMX500和IMX501。AI圖像傳感器兼具運算能力和內存,能夠在沒有額外硬件輔助的情況下執行機器學習驅動的計算機視覺任務,可以使很多依賴機器學習算法的圖像處理技術能夠在本地運行,更簡單、高效、**。
索尼推出的AI圖像傳感器,首批目標是零售商和工業客戶。索尼業務與**副總裁馬克·漢森認為,相比將數據發送到云端的解決方案,AI圖像傳感器的應用潛力巨大,成本效益更高,尤其是在邊緣計算領域。
商湯、曠視等新興AI技術公司也在探索AI傳感器
除了傳統的傳感器廠商之外,商湯、曠視等AI公司也在探索AI傳感器。今年7月,商湯智能產業研究院發布《AI傳感器:智能手機影像新核心》白皮書。該白皮書提到,在智能手機市場緩慢步入瓶頸期的趨勢下,影像功能成為產業破局焦點,而AI軟件與CMOS圖像傳感器硬件的融合,將是智能手機影像能力持續提升的破題之道。
過去幾年,AI算法讓手機的影像能力得到了不小的提升。但在這種方案中,圖像傳感和AI算法的運行,在不同的硬件上完成,圖像傳感器提供圖像信號,處理器或者AI加速芯片執行AI算法。這會造成能耗資源的浪費,并且難以處理一些需要及時響應的場景。
白皮書指出,融入了AI技術的CMOS圖像傳感器,可以*大化地發揮原始光信號的價值。
在設備獲取視覺信號的伊始,AI傳感器就可以進行優化和處理,增強真實世界感知、提高圖像和視頻的質量、豐富內容細節,同時*大限度地降低了設備功耗,并增強了數據**性。
據介紹,早在2019年,商湯就與全球**的圖像傳感器廠商開展緊密合作,將AI算法和傳感器硬件直接融合。目前,商湯AI傳感器已完成多款產品,并成功落地多款**旗艦手機。
商湯認為,面向未來,AI傳感器的價值不僅在于提升智能手機的影像能力,它更將成為機器認知世界的基礎設施,為更多物聯網終端賦予智能感知與內容增強的能力。比如,在智能汽車領域,AI傳感器將成為車輛感知世界的核心部件;在智慧城市領域,AI傳感器更將為挖掘視頻信息的價值發揮重要作用。
曠視研究員范浩強今年7月也在某個論壇上談到,隨著AI、視覺算法等領域的發展,傳感器將不再單獨的、直接地提供應用價值,傳感器和應用之間需要算法來作為承上啟下的橋梁。從技術角度講,這兩者*顯著的結合點就是計算攝影。
曠視也已經深度參與手機影像的能力提升中,目前曠視的4K級別的硬件方案已經實現了量產,并積極推動8K AI畫質硬件方案的研發與產品化。