新突破!我國科學(xué)家研制出世界首款類腦互補(bǔ)視覺芯片→

科普中國
公眾科普,科學(xué)傳播。
收藏

在現(xiàn)代科技的舞臺(tái)上,“視覺感知技術(shù)”正扮演著至關(guān)重要的角色。從自動(dòng)駕駛汽車到靈巧的機(jī)器人,再到無處不在的智能監(jiān)控系統(tǒng),圖像傳感器的表現(xiàn)直接決定了這些技術(shù)的成功與否。

然而,當(dāng)面對(duì)動(dòng)態(tài)、多變且不可預(yù)測的環(huán)境時(shí),傳統(tǒng)圖像傳感器往往力不從心,面臨諸多挑戰(zhàn)。這些挑戰(zhàn)主要包括動(dòng)態(tài)范圍有限、數(shù)據(jù)冗余、感知延遲等幾個(gè)主要的方面。

動(dòng)態(tài)范圍指在圖像或視頻中能夠捕捉到的最暗到最亮的可見范圍內(nèi)的所有像素范圍。動(dòng)態(tài)范圍越大,設(shè)備可以捕捉到更多的像素變化,從深黑到明亮的細(xì)節(jié)都可以更清晰地展示出來。然而傳統(tǒng)傳感器的動(dòng)態(tài)范圍非常有限,難以在強(qiáng)光和弱光環(huán)境下同時(shí)捕捉到清晰的圖像。

數(shù)據(jù)冗余則是指高分辨率和高速傳感器會(huì)產(chǎn)生大量數(shù)據(jù),增加了處理和傳輸?shù)呢?fù)擔(dān)。感知延遲是指由于處理速度的限制,傳感器在快速變化的環(huán)境中容易出現(xiàn)感知延遲,影響決策的及時(shí)性。

微信圖片_20240620104559.png

由于動(dòng)態(tài)范圍有限,導(dǎo)致相機(jī)在弱光環(huán)境下(第三幅)圖像中無法捕捉到清晰的人像(圖片來源:參考文獻(xiàn)1)

在自動(dòng)駕駛、機(jī)器人和人工智能等領(lǐng)域,這些問題尤為明顯。例如,在自動(dòng)駕駛中,傳感器必須能夠迅速而準(zhǔn)確地識(shí)別路況和潛在危險(xiǎn),但傳統(tǒng)傳感器在處理復(fù)雜場景(如突然出現(xiàn)的行人或車輛)時(shí)常常表現(xiàn)不佳。

這些技術(shù)障礙限制了圖像傳感器在復(fù)雜環(huán)境下的應(yīng)用,也催生了對(duì)更先進(jìn)的視覺感知技術(shù)的迫切需求??茖W(xué)家正在通過不斷研究人類出色的視覺系統(tǒng)來試圖尋找到解決方案。

人類視覺系統(tǒng)的啟示

人類視覺系統(tǒng)(Human Visual System, HVS)在處理復(fù)雜視覺信息方面表現(xiàn)出色。即,初級(jí)視覺皮層作為視覺信息的初步處理區(qū)域,將視覺信息分解為原始的成分,如顏色、方向和運(yùn)動(dòng),并將這些信息傳遞到背側(cè)流和腹側(cè)流,然后通過兩條主要路徑進(jìn)行處理:

1

認(rèn)知路徑

腹側(cè)流(Ventral stream)連接到顳葉(temporal lobe),主要負(fù)責(zé)高精度的認(rèn)知和細(xì)節(jié)識(shí)別,如顏色和形狀。這條路徑使我們能夠清晰地看到物體的細(xì)節(jié)和顏色,并對(duì)環(huán)境進(jìn)行準(zhǔn)確的認(rèn)知。

2

動(dòng)作路徑

背側(cè)流(Dorsal stream)連接到頂葉(parietal lobe),主要負(fù)責(zé)快速反應(yīng)和運(yùn)動(dòng)檢測,如方向和速度。通過這條路徑,我們可以迅速識(shí)別運(yùn)動(dòng)的物體,并作出相應(yīng)的反應(yīng),如避讓障礙物或追逐目標(biāo)。

微信圖片_20240620104636.png

背側(cè)流(Dorsal stream)、腹側(cè)流(Ventral stream)和初級(jí)視覺皮層(Primary visual cortex)(圖片來源:VISUAL SYSTEM: CENTRAL PROCESSING)

這種雙路徑的處理方式使得人類能夠在各種復(fù)雜環(huán)境中高效、準(zhǔn)確地感知和反應(yīng)?;趯?duì)人類視覺系統(tǒng)的模仿,清華大學(xué)的研究團(tuán)隊(duì)研發(fā)出了世界首款類腦互補(bǔ)視覺芯片——天眸芯片,突破了傳統(tǒng)視覺感知芯片的缺點(diǎn),提供了前所未有的高效、精準(zhǔn)的視覺感知解決方案。

天眸芯片的誕生

天眸芯片的設(shè)計(jì)理念基于對(duì)人類視覺系統(tǒng)的深入研究,采用了混合像素陣列和并行異構(gòu)讀出架構(gòu)。

混合像素陣列模仿了人類視覺系統(tǒng)中的錐狀細(xì)胞和桿狀細(xì)胞,分別用于顏色和運(yùn)動(dòng)檢測。其中,上皮細(xì)胞(Epithelial cells)支持和保護(hù)感光細(xì)胞的細(xì)胞層。錐狀細(xì)胞(Cone)主要負(fù)責(zé)捕捉顏色信息,使我們能夠在明亮光線下看到豐富的顏色細(xì)節(jié)。而桿狀細(xì)胞則對(duì)光線的強(qiáng)弱變化極為敏感,特別適用于低光環(huán)境,幫助我們在昏暗條件下看到物體的輪廓和運(yùn)動(dòng)。

微信圖片_20240620104821.png

錐狀細(xì)胞、桿狀細(xì)胞和上皮細(xì)胞(圖片來源:Seeing color)

并行異構(gòu)讀出架構(gòu)是天眸芯片的核心部分。它的作用是將來自不同像素(如錐體和桿狀像素)的電信號(hào)以高速度和高精度轉(zhuǎn)換為數(shù)字?jǐn)?shù)據(jù)。這種架構(gòu)的優(yōu)勢在于能夠同時(shí)處理高動(dòng)態(tài)范圍和高速度的感知需求,有效減少數(shù)據(jù)冗余,并在復(fù)雜光照條件下保持高性能。

微信圖片_20240620104833.png

天眸芯片的架構(gòu),包括混合像素陣列及其與多條路徑的交互(圖片來源:參考文獻(xiàn)2)

通過這些新技術(shù)的應(yīng)用,天眸芯片同時(shí)具備了高速感知能力、寬動(dòng)態(tài)范圍和帶寬優(yōu)化這三個(gè)特點(diǎn),解決了傳統(tǒng)傳感器的缺點(diǎn)。

1

高速感知能力

天眸芯片能夠?qū)崿F(xiàn)每秒高達(dá) 10,000 幀的速度,確保在快速變化的環(huán)境中依然能夠捕捉到清晰的圖。這種高幀率感知能力對(duì)于自動(dòng)駕駛和機(jī)器人等需要實(shí)時(shí)感知和反應(yīng)的應(yīng)用場景至關(guān)重要。

2

寬動(dòng)態(tài)范圍

動(dòng)態(tài)范圍的計(jì)算單位是 dB(分貝),傳統(tǒng)傳感器的動(dòng)態(tài)范圍通常在 60 至 80dB 之間,而人眼的動(dòng)態(tài)范圍約為 120dB。天眸芯片擁有高達(dá) 130dB 的動(dòng)態(tài)范圍,能夠在強(qiáng)光和弱光環(huán)境下同時(shí)提供清晰的圖像。這意味著即使在陽光直射和陰影并存的復(fù)雜光照環(huán)境下,天眸芯片也能提供細(xì)膩的畫面細(xì)節(jié)。

微信圖片_20240620104849.png

天眸芯片在不同光功率密度下的信噪比,通過結(jié)合動(dòng)作路徑和認(rèn)知路徑的高增益和低增益模式,天眸芯片實(shí)現(xiàn)了 130dB 的寬動(dòng)態(tài)范圍。這表明該芯片能在極強(qiáng)和極弱光照條件下提供高質(zhì)量的圖像。(圖片來源:參考文獻(xiàn)2)

3

帶寬優(yōu)化

通過自適應(yīng)技術(shù),天眸芯片能夠減少 90% 的帶寬需求,有效降低了數(shù)據(jù)傳輸和處理的負(fù)擔(dān)。這種帶寬優(yōu)化技術(shù)不僅提高了數(shù)據(jù)傳輸效率,還降低了能耗,使得天眸芯片更適合移動(dòng)設(shè)備和物聯(lián)網(wǎng)應(yīng)用。

微信圖片_20240620104902.png

天眸芯片在快速運(yùn)動(dòng)和光閃干擾下的高性能表現(xiàn)。通過動(dòng)作路徑的高速響應(yīng),芯片能迅速處理不可預(yù)測的光閃事件,同時(shí)保持低帶寬消耗。天眸芯片在功耗和帶寬方面相對(duì)于傳統(tǒng)和神經(jīng)形態(tài)視覺傳感器展現(xiàn)了優(yōu)越的性能。(圖片來源:參考文獻(xiàn)2)

天眸芯片的應(yīng)用案例

天眸芯片在自動(dòng)駕駛系統(tǒng)中的應(yīng)用是其強(qiáng)大性能的一個(gè)重要展示。它能夠在復(fù)雜的道路環(huán)境中提供準(zhǔn)確、快速和穩(wěn)健的感知,即使在角落情況下也能做出迅速反應(yīng)。這對(duì)于提高自動(dòng)駕駛系統(tǒng)的安全性和可靠性具有重要意義。

例如,天眸芯片在自動(dòng)駕駛測試中展示了其在應(yīng)對(duì)突然出現(xiàn)的行人和車輛時(shí)的優(yōu)越性能,顯著降低了事故發(fā)生的概率。

除了自動(dòng)駕駛,天眸芯片還可以廣泛應(yīng)用于無人機(jī)、安防監(jiān)控等領(lǐng)域。例如,在安防監(jiān)控中,天眸芯片能夠在光線變化劇烈的環(huán)境下提供高質(zhì)量的視頻圖像,有助于及時(shí)發(fā)現(xiàn)潛在的安全威脅。在無人機(jī)應(yīng)用中,天眸芯片的高動(dòng)態(tài)范圍和高速感知能力使得無人機(jī)能夠在復(fù)雜地形和光照條件下進(jìn)行高效地導(dǎo)航和監(jiān)控。

微信圖片_20240620104919.png

天眸芯片在長途駕駛測試中的表現(xiàn)。測試中,車輛遇到日夜、隧道、高動(dòng)態(tài)范圍、異常物體和復(fù)雜場景等極端情況。天眸芯片通過認(rèn)知路徑和動(dòng)作路徑檢測結(jié)果的無縫同步,確保了高精度感知。(圖片來源:參考文獻(xiàn)2)

多種實(shí)驗(yàn)的結(jié)果表明,天眸芯片不僅具有高動(dòng)態(tài)范圍和高分辨率,還能在高速運(yùn)動(dòng)和極端光照條件下保持優(yōu)異的感知性,在極端環(huán)境下的表現(xiàn)遠(yuǎn)優(yōu)于傳統(tǒng)傳感器。

天眸芯片在未來科技發(fā)展中擁有無限的可能。隨著技術(shù)不斷進(jìn)步,它將在更多領(lǐng)域中扮演不可或缺的角色。試想在增強(qiáng)現(xiàn)實(shí)(AR)和虛擬現(xiàn)實(shí)(VR)中,天眸芯片帶來的超高質(zhì)量視覺體驗(yàn),將如何徹底改變我們的感知和交互方式?這僅僅是開始。

未來,當(dāng)天眸芯片與人工智能技術(shù)深度融合,會(huì)為智能城市建設(shè)、醫(yī)療影像分析、工業(yè)自動(dòng)化等領(lǐng)域帶來哪些顛覆性的變革?它將如何引領(lǐng)我們進(jìn)入一個(gè)更加智能和互聯(lián)的世界?懸念依舊,我們拭目以待。

參考文獻(xiàn)

[1]Han, Yuqi & Yu, Xiaohang & Luan, Heng & Suo, Jinli. (2023). Event-Assisted Object Tracking on High-Speed Drones under Harsh Illumination Environment. 10.20944/preprints202312.1056.v1.

[2]Yang, Z., Wang, T., Lin, Y. et al. A vision chip with complementary pathways for open-world sensing. Nature 629, 1027–1033 (2024).

策劃制作

出品丨科普中國

作者丨鄭勝杰 計(jì)算與神經(jīng)系統(tǒng)學(xué)博士生

審核丨中國科普博覽

責(zé)編丨楊雅萍

審校丨徐來 林林

評(píng)論
臭皮匠心
學(xué)士級(jí)
天眸芯片的發(fā)布對(duì)于推動(dòng)類腦計(jì)算和類腦感知方向的發(fā)展具有重要意義。它不僅展示了我國在這一領(lǐng)域的研發(fā)實(shí)力,也為全球科技產(chǎn)業(yè)樹立了一個(gè)新的里程碑。
2024-06-20
演繹無限精彩
大學(xué)士級(jí)
“天眸芯片”作為“中國芯”的杰出代表,它的問世彰顯了我國自主創(chuàng)新的硬實(shí)力。未來有望引領(lǐng)新一輪人工智能發(fā)展浪潮,為建設(shè)科技強(qiáng)國增添新的動(dòng)力!
2024-06-20
科普中國●yling
庶吉士級(jí)
天眸芯片將在更多領(lǐng)域扮演重要角色,在未來會(huì)有無限可能。天眸芯片體現(xiàn)了中國實(shí)力和中國水平,作為中國人,我們應(yīng)深感驕傲!
2024-06-20