隨著當今更低成本和更高性能的工業相機的趨勢，對CMOS圖像傳感器也提出了更高的要求，需要通過設計係統級芯片（SoC）來實現這一目標。為實現該目標，需通過3D芯片堆棧和背照(back side illuminated ，BSI)技術，把多個圖像處理任務集成到單一器件中。在未來將會出現具有精密的機器學習和專有的智能計算芯片結合圖像擷取功能的解決方案，創造出緊湊的高速運算視覺係統。
可是在實現嶄新的大型技術集成之前，必需掃除兩個主要發展障礙—芯片的熱量管理和功耗。
現在，先進的前照(front side illuminated ，FSI) CMOS傳感器集成了模擬和數字功能，實現了成本和效能兼具的解決方案。能夠達成這些目標，關鍵在於把有利於係統效能及嵌入到圖像傳感器SOC等各種因素的巧妙分隔。在這裏，分隔圖像係統應用以及諸如CPU、FPGA和DSP等已有圖像處理器件的角色是核心因素，因功能重覆會導致成本上升。而開發一個能夠為目標應用市場提供可行方案，以達到大規模量產(以實現最低生產成本)的標準圖像SOC產品，事前需要兩個模塊的深入對話。
終端相機產品的主要的市場參與者，包括硬件、軟件、係統建構者和光學工程師，以及一個多範疇的圖像傳感器開發隊伍，都在貢獻著各自在半導體科技和終端相機產品技術和應用的知識，尋找創新的產品解決方案。
本文將介紹一款麵向條形碼讀碼器和其它嵌入式視覺應用的CMOS圖像傳感器係列產品、它們的應用實例，以及一些未來發展趨勢。
1條形碼 – 現今最流行的編碼係統以及相關閱讀技術概況
在以節假日及季節性消費零售和網上購物的行業中，物流運輸、製造和批發等行業每日掃描逾50億個條形碼。隨著1970年代全球首個條形碼在一包口香糖上出現，現在它顯然是最流行的可讀編碼係統，並且不斷發展新的應用範圍。一維條形碼是首個出現的條形碼(並因印刷技術進步，麵積不斷變小)，而它仍然是主流技術，可見於零售、運輸和物流及其它行業的UPC(獨有產品碼)應用。二維條形碼有多種不同的規格，提供相較一維碼更多的可編程數據：一維碼最大可載入20-25字符，且取決於條形碼類型；二維碼最大可以加載超過2000個字符。除了一般的寫入產品信息和明細功用外，二維條形碼也寫入校驗和(checksum)以及其它校正技術，以確保對印刷錯誤或破損的條形碼有更大的容錯能力。二維碼在一些特定行業已獲得大量應用，如自動化製造行業，零件的直接部件標示(direct part marking ，DPM)等。
二維條形碼閱讀技術升級大約在15年前開始，因為它能夠同時閱讀二維碼和一維碼，並成為當今的市場主流。
條形碼範例
UPC 一維碼
QR二維碼
PDF417 二維碼
Datamatrix 二維碼
圖2 不是所有二維碼閱讀器都有同樣的功能
2不是所有二維碼閱讀器都有同樣的功能
條形碼驗證和解碼係統正在快速發展並不斷改進，以提供更快、更緊湊、更低價格和更強大的閱讀功能。
雖然基於激光的一維閱讀器仍然在產和使用，閱讀係統最顯著的技術進步卻是來自二維閱讀器。二維閱讀器通過圖像傳感器，使得它能夠提供顯著的演算能力，帶來之前不可能出現的附加功能。這些功能包括拍攝照片和錄取視頻，以及加入更多先進功能，常見例子包括文件掃描、光學字符辨識(OCR，orthogonal character recognition)、物件辨認、尺寸量度，以及更多其它功能。
Teledyne-e2v 的圖像傳感器是一款麵向這一市場上的獨特產品，提供了各種二維傳感器選項以外的更多優勢。其中一個主要原因是它經設計專門用於條形碼閱讀，而不是一般麵向多用途、消費性或車用市場的產品。這意味著一種精確強大的解決方案，能夠滿足領先市場的條形碼閱讀器產品的一切要求。
Teledyne-e2v 近期開發出一小像素低噪聲全局快門CMOS圖像傳感器係列產品，擁有獨特功能，能夠為自動數據采集係統(Automatic Data Collection System，ADCS)和自動辨識(Auto Identification，AI)市場應用帶來顯著成本節省及/或性能提升的方案。在這一市場區間，雖然傳感器單元成本是最重要的因素，但諸如照明 / 光學鏡頭的降成本方案也需要一並考慮。
圖3 Snappy 是用於工業條形碼閱讀器的CMOS圖像感測的一種創新麵向應用方法
二維碼閱讀係統要求非常快速的幀擷取圖像以避免拖影現象。這需要盡可能短的曝光時間。另一方麵，要獲得最大景深(depth of field ，DOF) 或掃描範圍，往往會使用非常小光學孔徑(一般時F/8或更小)的鏡片。能夠進入圖像傳感器像素的非常小數目的光子結合很短的集成時間，意味著可以在低亮度應用中進行條形碼閱讀(見圖5)。而全局快門也有利於閱讀移動的條形碼。
影響終端閱讀器性能的主要傳感器參數因而特別適用於條形碼閱讀應用。圖 4 列出了一些主要的傳感器/條形碼閱讀性能要求，並展示出Snappy傳感器係列作為專門應用CMOS圖像傳感器範例的優勢。
圖4 Snappy麵向條形碼掃描功能的主要規格
圖5 Snappy 傳感器的低亮度信噪比為減小係統照明光學能耗和成本提供優勢
3溫升的影響
如果仔細一點觀察在25°C的溫度下，各種構成噪聲參數的組件之間的差異，以及這些組件在>65°C 溫升時的狀況，某些組件的參數表現有局限性，在傳感器選擇過程中應予以考慮溫升的影響。空間行列固定的讀出噪聲是條形碼閱讀的其中一個特別重要參數。考慮到固定模式噪聲的形狀與直線和橫線相似，它們容易與條形碼產生混淆，或會在圖像中的條形碼讀取時加入錯誤的信息。
Snappy係列圖像傳感器使用先進的半導體工藝，在25°C時隻有少數暗信號光子，而即便在65°C也隻測出每秒77個光子。這有助於行和列的內嵌固定模式噪聲消除算法，即便在高工作溫度，也能實現隻有幾個百分比的固定模式噪聲。
極低的讀出噪聲（結合時間和空間元素）典型數值為3個光子。即便在高溫環境下也不會惡化。如果傳感器在高溫下性能下降，那意味著需要更多的照明，簡介提高了係統成本。
4獨有的黑白+彩色像素濾鏡模式—結合黑白和彩色像素的低亮高靈敏度數據的優勢
傳感器可以使用有彩色像素以便於加入附加的對象/標簽辨識功能，提供更多安全功能以避免假冒(spoofing)或條形碼本身不能閱讀的情況。不過，因為彩色傳感器的有機彩色濾鏡的較低傳送特性，以及需要結合紅綠藍三色像素來製造“彩色”像素，這意味著相比於單色的圖像傳感器，彩色禪觀棋有較低空間分辨率和較低靈敏度。Teledyne-e2v的Jade圖像傳感器是一個有趣的創新，它使用單色像素，但在每四個單色像素加入一個彩色像素。這樣就能保存閱讀條形碼至關重要的空間分辨率和靈敏度，同時讓較低分辨率的彩色圖像被同時擷取。
圖6 創新色彩感測應用無需對閱讀性能作出折衷
5創新嵌入式應用專有功能
實現快速(Snappy) 條形碼閱讀不單是幀讀出率的結果。雖然固定噪聲是一個限製因素， 但Snappy傳感器未有為此作出妥協。該傳感器提供8 bit位深接近每秒120幀的出色性能。獨有的通電模式確保器件在信噪比規格下擷取第一個圖像(或快速自曝光亞圖像)時已處於通電或候命狀態。這並不是一般車月手或麵向其它應用的全局快門CMOS傳感器的標準功能，因為這意味著在完全穩定和達到數據表標明的信噪比功能數值前，係統必需棄置多個全幀圖像。這一獨有的通電後首幀閱讀能力能夠為相機提供差異化因素，實現最高速條形碼閱讀，向終端用戶提供“快拍”式掃描，為企業實現更高產能。以下將介紹在Snappy 傳感器係列中，Teledyne-e2v 成像團隊發明的兩個最具創新性的專利功能：它們經設計用於 終端產品掃描的超高速條形碼閱讀、辨認和解碼應用。
1.快速自曝光(Fast Self Exposure，FSE) 模式(用於Snappy 2MP 和 5MP CMOS 傳感器)：
快速自曝光模式允許在變化光線下優化曝光時間 (見圖7)。相較於傳統的自動曝光模式，FSE帶來更多融合時間和強大功能的優勢，包括完全使用者編程並向終端用戶提供穩定快速閱讀優勢，自適應任何光源或動態光源環境，而且對幀率幾乎沒有影響。
圖7 用於條形碼閱讀和所有機器視覺應用的新型片上自動曝光方法
專利的FSE模式使用了多個片上部件實現以下功能：
(a) 獨有的縱向模數轉換器(ADC)允許在連續的行段設定4個不同的曝光時段，然後在整個陣列重複，產生4個具有不同曝光數值的低分辨率圖像。這一功能也可以用作一種強大的高動態範圍影像擷取功能。
(b) 橫向增量亞采樣，最大值1/64線
(c) 片上統計數據包含飽和像素數值，並同時提供一個16-bin直方圖輸出，可以在圖像注腳直接讀取開啟中的幀或區域的數據
(d) 取景窗口(ROI)模式可支持FSE子幀，多區域，以及區域中區域
(e) 精細控製可使用直方圖數值、平均值和二者的組合
(f) 可編程緩衝器提供直觀的使用者控製和設定
這些功能為終端應用帶來掃描速度的優勢，因為FSE模式一般隻使用小於10%的幀時段。其他CMOS傳感器的傳統嵌入式自動曝光控製(AEC)使用漸近技術，避免閃爍(flashing)並提供目標圖像，使得圖像融合速度較慢。在整個過程會耗費大量幀幅，使得速度不能配合條形碼閱讀應用的要求。
2. 智能取景窗口(Smart ROI)模式 (用於Snappy 5MP 傳感器)：
智能取景窗口(Smart ROI) 使用片上算法來偵側圖片上的一個或多個條形碼。而條形碼解碼圖像處理係統需要把載有條形碼的範圍與其餘的部份分別出來，從而對有用的部分進行處理。這一工作一般是在FPGA或CPU上進行，因為這一任務需要大量的閘/實時時鍾(RTC)和處理能力，導致額外的高成本，以及選擇處理引擎時所遇到複雜技術限製。
圖8 利用智能取景窗口(Smart_ROI)功能檢測圖像傳感器上多個移動中的條形碼
把這一條形碼偵測功能嵌入傳感器中，能夠實現整體成本節省，這不單是因為處理方麵的開銷顯著減小，還有是由於任務在傳感器內完成，無需通過其它數字信號端加工處理，實現係統性能和穩定性優勢。在有效幀中偵測到的一維碼或二維碼在將會以區塊形式，並加上X/Y坐標作為圖像注腳區域(不可見)的可讀信息的一部分。傳感器可同時偵測多個區域(或條形碼)，也可以偵測其它編碼，例如是在光學文字辨識應用(OCR)中閱讀印刷字符。即便是在條形碼/對象/相機正在移動的應用中，這一功能仍然能夠有效工作。
顯著的成本節省和係統簡化是主要的優勢。5MP傳感器主要用於高端條形碼應用，這是因為它需較大的鏡頭和更強的處理能力配合去進行5MP實時圖像處理/解碼工作，抵銷了更大掃描範圍或麵積所提供的主要優勢。不過， Snappy係列傳感器的小像素以及由片上智能取景窗口帶來的處理開銷節省，能夠實現更小係統級成本。由於其低功耗和在單幀幅辨識多個條形碼符號的能力，使得該產品正成為高分辨率傳感器的市場動力，在電商物流行業更是明顯的優勢。
快速自曝光和智能取景窗口功能可以同時在Snappy 5MP傳感器上工作，以確保在環境光線不斷變化的環境下，仍然能夠提供快速強大的操作能力。
Snappy傳感器係列經過設計優化，滿足低成本，低功耗的係統需求。前文也曾提及的傳感器片上處理數據，工作性能可顯著提高。雖然不僅滿足條形碼閱讀應用和市場，同時滿足其它類型的機器視覺(MV)應用，包括查驗、測量、光學字符辨識等等，也可以通過Snappy 傳感器的性能和嵌入式功能獲益。其它適用範圍包括嵌入式視覺係統、物聯網邊緣設備、無人機、增強現實、生物特征係統等等。
圖9 Snappy傳感器係列適用於其它機器視覺、智能物聯網和其它工業計算視覺應用
6 Snappy傳感器集成鏡頭和先進基於微電機的自動對焦提供附加價值
消費級相機光學模塊並不適用於B2B工業應用的嚴苛長時間工作環境。另外，舉個例子，用於條形碼閱讀的鏡頭一般有專門的性能和光學特性，需要最大的工作距離，而諸如光學調製轉換函數(MTF)等光學像差需要最小化，以便於有效地對特征尺寸比奈奎斯特頻率還要小的條形碼進行解碼。集成了強大的Snappy圖像傳感器和高性能鏡頭的MIPI光學模塊(MOM) 能夠提高係統的價值並節省開發時間和成本。
MIPI光學模塊 是嵌入式視覺應用的理想解決方案，它允許某程度上使用訂製鏡頭，為20mm x 20mm的小型模塊提供出色的性能和靈活性。Teledyne-e2v 現在向終端用戶提供首個2MP MIPI光學模塊樣品，並且計劃推出5MP版本，以及強大而輕量、基於微電機技術的2MP 自動對焦版本。自動對焦的最大優勢在於相較定焦光學係統，它允許使用更大光學孔徑來實現同級或更佳的掃描範圍或工作距離，但需要顯著地小的照明功耗。未來的2MP MIPI光學模塊將為工業成像應用提供更多性能/或成本改進。新產品的詳細內容將於2020年中公布。不過現在已有一個使用嶄新開環‘多焦’功能的評估平台，能夠提供最大工作範圍和最大幀率，並具有可用於現存Snappy 2MP示範套件的MEMS自動對焦組件。
7 電商的爆發性成長帶來的新趨勢和變革
電子商務的爆發性成長帶來的巨大雙位數年複合增長率(CAGR)目標(每年大於25%) ，不單為物流中心運營帶來變革，也為傳統的實體零售點提供保障。零售市場正在麵對巨大轉變，需要提供更好的客戶體驗並通過使用無人自動‘自助掃描’係統來縮短結賬時間。這些係 統的成功關鍵不單在於可靠的條形碼辨識和解碼能力，還有是需要更多使用彩色成像器件的更精細的對象辨認任務。
圖11 電子商務的爆發性成長促成了對CMOS傳感器要求和功能的新趨勢和變革
如要全麵實現高成長潛力，首要條件是要實現更高速度或更高產能的掃描儀和相機。具有寬畫麵的更高分辨率傳感器將允許更快的閱讀速度並實現更大表麵積讀碼(在同一圖像包含多個包裹和條形碼)，以至在未來在單個傳感器覆蓋整個倉庫區域。
關於圖像傳感器，91香蕉视频官网看到柔性傳感器技術應用的優勢，它能夠減小外部光學組件的複雜性並減省諸如鏡片繞射極限等現有關於小像素的一些限製。這一發展可提供 兩個優勢，一是簡化並節省光學本，二是允許2.5µ以下的小像素無需減小MTF仍然達到鏡片光學繞射極限。
在倉庫應用中，對於一個小包的以及掃描小包上的條形碼的需求，往往源於不斷增長的電商分發中心的效率目標。每一平方厘米的存儲和運送空間都要實現最大化應用。要對貨件實現整個運送和供應鏈的三維尺寸監控，以至於通過二維碼閱讀相關編碼/文字標簽，現需要使用兩個單獨的相機，一個用於三維(大部分使用結構光源或基於三維技術的立體化視覺)，而另一個則使用非互聯的二維相機。
現在的研究重點在於研發一個二維和三維兼具的CMOS傳感器，可以同時提供傳統的二維影像和三維點雲(point cloud)。Teledyne-e2v致力為這些新市場範圍提供尖端領導技術，並已製訂能夠配合下世代相機和成像係統的未來產品路線圖和知識產權，使得相關技術夠聚焦應用專有需求，相信不用很久，便可預見到新的產品問世。