作者：Ganesh Narayanaswamy用于數(shù)據(jù)收集的視覺傳感器變得越來越重要。

最初，簡(jiǎn)單的圖像傳感器是為攝影應(yīng)用開發(fā)的，如今，圖像傳感器用于向人工智能（AI）和機(jī)器學(xué)習(xí)系統(tǒng)提供高質(zhì)量的輸入。

這些系統(tǒng)已成為利用新的和創(chuàng)新的處理器體系結(jié)構(gòu)的復(fù)雜決策實(shí)體。

邊緣數(shù)據(jù)采集盡管邊緣數(shù)據(jù)采集設(shè)備本質(zhì)上主要是模擬設(shè)備，但是圖像傳感器的獨(dú)特之處在于它們的輸出在連續(xù)動(dòng)態(tài)光學(xué)輸入上進(jìn)行時(shí)分多路復(fù)用。

它們需要能夠在輸出時(shí)保持轉(zhuǎn)換后的光。

提供圖像輸出的輸入完整性為圖像輸出提供了最佳質(zhì)量，支持對(duì)這些要求的重要處理，后續(xù)結(jié)果可能會(huì)對(duì)視覺系統(tǒng)決策的準(zhǔn)確性產(chǎn)生重大影響，并且該結(jié)果定義了整個(gè)自動(dòng)化系統(tǒng)的安全性，可靠性和獲利能力。

基于機(jī)器學(xué)習(xí)的機(jī)器學(xué)習(xí)視覺系統(tǒng)的出現(xiàn)促進(jìn)了圖像傳感器的創(chuàng)新，并且其性能水平得到了提高以支持各種應(yīng)用。

視覺輸入是高保真數(shù)據(jù)-您所看到的就是輸入到系統(tǒng)中的信息。

如今，AI算法可以檢測(cè)，識(shí)別和分類這些輸入并生成準(zhǔn)確的決策輸出。

這些輸出的可靠性取決于輸入的質(zhì)量及其算法的準(zhǔn)確性，以及處理這些算法的神經(jīng)網(wǎng)絡(luò)。

基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的視覺系統(tǒng)主要使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）算法來創(chuàng)建強(qiáng)大的自動(dòng)識(shí)別專家系統(tǒng)。

在這些系統(tǒng)中，增加CNN層的深度將提高推理的準(zhǔn)確性，但是更多的層也會(huì)不利地影響這些網(wǎng)絡(luò)在訓(xùn)練階段學(xué)習(xí)所需的時(shí)間以及系統(tǒng)完成推理的延遲（請(qǐng)注意，不要忘記組合也會(huì)影響結(jié)果和功耗。

同樣，高質(zhì)量的圖像輸出使視覺系統(tǒng)可以攜帶最少的CNN圖層集，但也可以產(chǎn)生高度準(zhǔn)確的推斷。

在獲得可以低成本，小尺寸快速部署的智能系統(tǒng)的同時(shí)，它還實(shí)現(xiàn)了高性能和低功耗，帶來了顯著的優(yōu)勢(shì)。

諸如CNN之類的典型卷積神經(jīng)網(wǎng)絡(luò)（CNN）深度學(xué)習(xí)算法非常耗費(fèi)資源。

如今，有各種處理引擎，包括CPU，GPU，F(xiàn)PGA，專用加速器和最新的微控制器。

設(shè)計(jì)基于CNN的視覺系統(tǒng)還需要強(qiáng)大的優(yōu)化庫(kù)支持。

從專有（例如MVTec的HALCON＆MERLIC，MATLAB的深度學(xué)習(xí)工具箱或Cognex的ViDi）到標(biāo)準(zhǔn)工具（例如OpenCV）以及軟件和硬件集成功能。

這些選擇與產(chǎn)品上市時(shí)間直接相關(guān)。

資源密集型處理器通常需要更大的外形尺寸，例如功耗大的散熱器附加組件，或僅需要更大的自由空間以通過對(duì)流耗散功率。

提供高質(zhì)量輸出的圖像傳感器消除了對(duì)昂貴的處理器，昂貴的第三方庫(kù)和/或創(chuàng)建新庫(kù)的需求，以及消除了最佳組合硬件和軟件資源所需的昂貴工具的需求。

換句話說，這些傳感器大大降低了總體擁有成本（TCO），并提高了在各種應(yīng)用和市場(chǎng)中的采用率。

輸入到機(jī)器學(xué)習(xí)系統(tǒng)的圖像傳感器對(duì)傳遞到CNN層的圖像傳感器輸出有很高的要求，包括：全局快門可以捕獲場(chǎng)景并保留場(chǎng)景以最大程度地減少運(yùn)動(dòng)偽影全局快門效率高，可以確保每個(gè)像素保留場(chǎng)景不會(huì)被像素光路外部的光輸入破壞。

像素大小足夠大，即使在充滿挑戰(zhàn)的光線條件下也能支持良好的圖像質(zhì)量。

圖像輸出中的總噪聲較低，可確保在運(yùn)行和待機(jī)狀態(tài)下以低功耗實(shí)現(xiàn)高完整性輸入，從而滿足將對(duì)流傳熱作為正常狀態(tài)的攝像機(jī)系統(tǒng)所面臨的典型挑戰(zhàn)。

這些特性取決于像素體系結(jié)構(gòu)和相關(guān)電氣路徑的設(shè)計(jì)。

CMOS圖像傳感器（例如AR0234CS）的結(jié)構(gòu)和設(shè)計(jì)滿足了這些要求，非常適合基于CNN的視覺系統(tǒng)。

高速接口可實(shí)現(xiàn)快速的系統(tǒng)像素。

像素的質(zhì)量可能非常好，并且經(jīng)過精心設(shè)計(jì)，可以生成高質(zhì)量的圖像。

但是，由于帶寬限制，整個(gè)視覺系統(tǒng)仍可能會(huì)遇到性能不佳的情況。

當(dāng)今的傳感器配備了SerDes接口