今日(rì)頭條丨我國(guó)自(zì)研5億像素雲相(xiàng)機(jī)面世！

不用對焦也能從(cóng)上海中心拍(pāi)下外灘每張人(rén)臉細節，比人(rén)眼分(fēn)辨極限高四倍

發布時間：2019-12-20

“從(cóng)上海中心的合适位置，整個外灘的人(rén)流細節都(dōu)能看(kàn)得(de)一清二楚。”讓複旦大(dà)學微電子學院/工(gōng)程與應用技術(shù)研究院教授曾曉洋“誇下海口”的不是望遠(yuǎn)鏡，不是攝像頭，而是由其領導的團隊自(zì)主研發的五億級像素雲相(xiàng)機(jī)系統。基于這一系統研發的五億像素智能視頻瞭望相(xiàng)機(jī)亮相(xiàng)2019年(nián)中國(guó)國(guó)際工(gōng)業博覽會。

董事(shì)長曾曉洋與正在組裝的五億像素雲相(xiàng)機(jī)/攝影(yǐng)：師(shī)源

這一團隊由複旦大(dà)學微電子學院副教授範益波作(zuò)爲圖像、智能與電子系統技術(shù)負責人(rén)，長春光(guāng)機(jī)所研究員(yuán)黃(huáng)玮作(zuò)爲光(guāng)機(jī)系統技術(shù)負責人(rén)，複旦大(dà)學微電子學院副研究員(yuán)荊明娥作(zuò)爲圖像算法技術(shù)負責人(rén)。

目前，先進的單反相(xiàng)機(jī)分(fēn)辨率可(kě)達千萬像素級别，對圖像的刻畫(huà)已經非常細緻。五億級像素相(xiàng)機(jī)拍(pāi)出照(zhào)片會是什麽樣？
人(rén)眼能分(fēn)辨的極限像素是1.2億，五億級的超高像素意味着相(xiàng)機(jī)能捕獲極其細緻入微的圖像細節，即便在能容納幾萬人(rén)的偌大(dà)體(tǐ)育場，拍(pāi)攝一副全景照(zhào)片也可(kě)以獲得(de)每張人(rén)臉的清晰圖像。如(rú)果加上人(rén)工(gōng)智能的助力，這款相(xiàng)機(jī)還(hái)能進行海量數據人(rén)臉等目标的檢測與識别，瞬間發現特定目标。 拍(pāi)得(de)廣，看(kàn)得(de)清，找得(de)準，這款不一般的“高能”相(xiàng)機(jī)，或将刷新人(rén)們對傳統相(xiàng)機(jī)的認知。 打破定式，不對焦也能看(kàn)得(de)清。

要使被拍(pāi)攝物成像清晰，傳統相(xiàng)機(jī)的聚焦操作(zuò)是必不可(kě)少的關鍵環節。 “看(kàn)得(de)清和看(kàn)得(de)廣對傳統相(xiàng)機(jī)來(lái)說(shuō)是一對矛盾，如(rú)兩千萬像素全部分(fēn)配到一萬個人(rén)身(shēn)上，每個人(rén)像就(jiù)隻有20個像素，一定無法看(kàn)清楚人(rén)體(tǐ)目标了。” 曾曉洋說(shuō)，既想看(kàn)得(de)清，又想看(kàn)得(de)遠(yuǎn)，還(hái)要看(kàn)得(de)廣，在現有的相(xiàng)機(jī)條件(jiàn)下，根本就(jiù)是一個悖論。 “但(dàn)如(rú)果相(xiàng)機(jī)的像素能達到兩億、五億或者十億呢(ne)？那麽即使是十萬個人(rén)也能拍(pāi)得(de)清楚了。”

當下，覆蓋地域廣、涵蓋目标多的高像素照(zhào)片是怎樣産出的呢(ne)？後期處理(lǐ)是現行的唯一途徑：針對目标物體(tǐ)進行多次拍(pāi)攝，再依靠後期圖像處理(lǐ)與拼接技術(shù)将這些單幅圖像逐一拼接，合“多”爲“一”。但(dàn)這種方法的劣勢顯而易見(jiàn)，既費時間（幾小時到幾天時間），也要消耗大(dà)量能量。 “比如(rú)從(cóng)高空進行拍(pāi)攝，現在普遍使用無人(rén)機(jī)，但(dàn)無人(rén)機(jī)的續航時間有限，按照(zhào)現在的拍(pāi)攝方式，人(rén)們獲取超高清晰圖像非常困難。” 曾曉洋介紹，目前使用的衛星實時導航所依據的路(lù)況地圖都(dōu)是靠後期“P”出來(lái)的，難度很大(dà)，成本極高。

“超遠(yuǎn)距離(lí)拍(pāi)攝”“超高清細節”“超快(kuài)速成像”，這三個條件(jiàn)要想同時“成立”，還(hái)得(de)從(cóng)大(dà)幅提高相(xiàng)機(jī)像素入手。不對焦也能拍(pāi)得(de)清楚，五億級像素雲相(xiàng)機(jī)系統的出現，從(cóng)技術(shù)層面打破了傳統拍(pāi)照(zhào)的定式規則，實現了“不可(kě)能”。

硬件(jiàn)升級，芯片創新實現颠覆性改變。
幾年(nián)前，在軍方的資助下，美國(guó)研發出世界上第一台億級像素相(xiàng)機(jī)，其運用的“陣列外拼接成像原理(lǐ)”将千萬級像素照(zhào)片進行軟件(jiàn)拼接，CMOS圖像傳感器呈陣列式分(fēn)布，相(xiàng)互錯開、互補排列，最終通過後續軟件(jiàn)圖像拼接得(de)到完整的大(dà)視場超高分(fēn)辨率視頻和圖像。但(dàn)高像素光(guāng)學鏡頭的陣列排布大(dà)大(dà)增加了相(xiàng)機(jī)體(tǐ)積。

“順着這個思路(lù)，當像素提升到五億級時，尤其是需要視頻圖像時，相(xiàng)機(jī)系統體(tǐ)積會變得(de)非常大(dà)，并且實時視頻拼接基本上不可(kě)能實現。” 曾曉洋認爲，這個方案潛力有限，“走不遠(yuǎn)”。

什麽才是“有後勁”“能發展”的思路(lù)？ 經過長時間的研究，曾曉洋團隊實現了一種創新性的億極像素成像技術(shù)。“同樣還(hái)是拼接成像原理(lǐ)，但(dàn)我們使用了創新的共心複合尺度的光(guāng)學成像方案，将陣列式的光(guāng)學成像鏡頭大(dà)幅縮減爲‘一’，采用兩級分(fēn)光(guāng)成像來(lái)進行多路(lù)CMOS圖像傳感器成像。”這樣，也對分(fēn)光(guāng)系統的精度提出了很高要求，不同光(guāng)路(lù)對目标進行成像，如(rú)果精度 “差之毫厘”，拼接後圖像則“謬以千裡(lǐ)”。 成功獲頒“高新技術(shù)企業”證書(shū)，代表了相(xiàng)關部門(mén)對複瞰科(kē)技核心自(zì)主知識産權能力、科(kē)技成果轉化能力、研究開發的組織管理(lǐ)水平以及企業成長性的高度認可(kě)，複瞰科(kē)技也将繼續打造持續創新型企業，提供更多更好更高的客戶價值。

技術(shù)總監範益波副教授在億級像素顯示系統平台前/攝影(yǐng)：師(shī)源隆

除了超高分(fēn)辨率的照(zhào)片，對這款高性能的雲相(xiàng)機(jī)來(lái)說(shuō)，拍(pāi)同樣分(fēn)辨率的實時視頻也“不在話(huà)下”。實時視頻對相(xiàng)機(jī)的計(jì)算速度和運行效率都(dōu)提出了更高的要求：每次成像都(dōu)是上百張千萬級像素的照(zhào)片高精度無縫拼接而成，而連續視頻應該在每秒25幀畫(huà)面，這相(xiàng)當于在一秒鍾之内把拼接成像過程重複至少25次。顯然，這種情況下，相(xiàng)機(jī)系統的計(jì)算量大(dà)到人(rén)們難以想象的程度。目前，曾曉洋團隊研發的三/五億像素的雲相(xiàng)機(jī)系統實現了“共心複合尺度光(guāng)學成像”和“硬件(jiàn)億級像素實時視頻圖像拼接”，十億級及以上像素的雲相(xiàng)機(jī)系統關鍵技術(shù)也處于攻關狀态。

“平時在APP上追劇(jù)，視頻分(fēn)辨率一般是1080P，超級會員(yuán)能看(kàn)到4K高清，再高分(fēn)辨率也看(kàn)不了了，網絡帶寬跟不上。而我們雲相(xiàng)機(jī)的像素分(fēn)辨率是五億，這可(kě)是4K的百倍。”

“超高的分(fēn)辨率同時意味着超大(dà)的數據量，但(dàn)目前無線傳輸系統的數據帶寬成爲瓶頸問(wèn)題。解決這一問(wèn)題的辦法就(jiù)是及時找到超高清圖像中的感興趣目标部分(fēn)。”曾曉洋說(shuō)，要把需要傳輸的數據量降下來(lái)，傳輸效率提上去(qù)，就(jiù)得(de)提高相(xiàng)機(jī)系統實時識别目标的能力，針對特定目标智能地進行尋找、鎖定和識别。“而這就(jiù)像在一倉庫的糧食裡(lǐ)面，有一粒是壞的，我們想把那粒壞的找出來(lái)，這太不容易了，所以要有智能化的方法。”将範圍縮小，再将特定區域特定目标的相(xiàng)關影(yǐng)像進行傳輸就(jiù)容易得(de)多了。“既能遠(yuǎn)視，也得(de)有準頭。”

“世界首款海量數據視頻圖像硬件(jiàn)拼接專用芯片”、“人(rén)工(gōng)智能處理(lǐ)硬件(jiàn)加速引擎專用芯片”，這兩款自(zì)主創新的芯片正是曾曉洋團隊讓五億級像素雲相(xiàng)機(jī)系統能拍(pāi)照(zhào)、拍(pāi)視頻，能“有準頭”的“獨門(mén)武器”。“功耗降下來(lái)、體(tǐ)積小下來(lái)全靠芯片技術(shù)，把上述兩款芯片做出來(lái)是實現我們整個系統技術(shù)突破的核心。”曾曉洋說(shuō)，這也是複旦大(dà)學承接該項目的主要原因，是我們專用集成電路(lù)與系統國(guó)家重點實驗室的使命所在。

将億級像素相(xiàng)機(jī)系統獲取到的海量視頻圖像數據都(dōu)放(fàng)在“雲端”統一的數據中心，全世界的人(rén)們都(dōu)有機(jī)會登陸來(lái)獲得(de)超高清晰的圖像視頻數據，這也就(jiù)是曾曉洋團隊“雲相(xiàng)機(jī)”概念的出發點。

五億級像素雲相(xiàng)機(jī)的出現，将會給人(rén)們的生(shēng)活帶來(lái)哪些便利？
曾曉洋介紹，這款相(xiàng)機(jī)系統在國(guó)防、安防和民(mín)用等領域都(dōu)具有廣泛的應用前景。
就(jiù)大(dà)城(chéng)市安防應用而言，傳統的安防監控系統把城(chéng)市區域分(fēn)割成了一個又一個的小方塊，遍布大(dà)街小巷的攝像頭對每一個小區域進行實時監控，就(jiù)是因爲一個個“小炮筒”的分(fēn)散，傳統安防監控系統很難對街道、機(jī)場、地鐵等視域寬闊的公共場所中的車流、人(rén)流等進行整體(tǐ)性的評估和預判。

而五億級像素雲相(xiàng)機(jī)系統的加入可(kě)有效解決這個傳統安防監控方案的痛點。“假如(rú)在上海中心合适位置布置我們的五億級像素雲相(xiàng)機(jī)系統，可(kě)以實時掌握整個外灘的大(dà)人(rén)流分(fēn)布情況，從(cóng)而極大(dà)助力在特殊時期警力更有針對性的安排，更有效地防範意外事(shì)件(jiàn)的發生(shēng)。”

與此同時，曾曉洋提到，因爲“超遠(yuǎn)距離(lí)”“高清成像”的特性，出于保護個人(rén)隐私的考慮，超高像素雲相(xiàng)機(jī)的出現也對相(xiàng)關法律法規的跟進提出了要求。“海量視頻圖像數據的獲取都(dōu)得(de)有監管，畢竟強有力的安防和個人(rén)隐私的保護得(de)有平衡。”

國(guó)産自(zì)主創新的五億級像素雲相(xiàng)機(jī)系統是複旦大(dà)學和中國(guó)科(kē)學院長春光(guāng)學精密機(jī)械與物理(lǐ)研究所協同創新的新科(kē)研成果，也是兩個單位、兩個國(guó)家重點實驗室團隊緊密合作(zuò)的結果。2017年(nián)10月，億級像素的雲相(xiàng)機(jī)系統研發成功，獲取了超過三億像素的超高清視頻圖像。這款相(xiàng)機(jī)外形類似和日(rì)常使用的投影(yǐng)儀，“盒子”樣的“軀幹”上探出了一個“鏡頭”的“腦袋”。目前，三/五億級像素雲相(xiàng)機(jī)已投入工(gōng)業量産，它們作(zuò)爲五億級像素相(xiàng)機(jī)的“探路(lù)者”和“試驗田”，率先在各個相(xiàng)關領域發揮作(zuò)用。