傳統(tǒng)影像能夠記錄的東西十分地豐富,主要是為人眼而生,有很多的細節(jié),一般來說以24幀或者30幀為限,能夠組成連貫的影像。然而如今隨著AI的興起,AI對于算力的需求達到了前所未有的程度,需要快速、快捷且數(shù)據(jù)量龐大的運算,并且AI運算的精度就不用人眼這么高,因此對于傳感器提出了新的需求,而在2024MWC上海上,Prophesee就展示了他們的事件視覺傳感技術,以及基于該技術打造的事件視覺傳感器,能夠充分利用最新的科技來讓AI處理以及高分辨率拍攝得到進一步的提升。
Prophesee事件視覺傳感技術的靈感來源于人眼視覺,能夠快速捕捉場景的運動信息,從而讓拍攝更加清晰。例如RGB傳感器在拍攝運動的物體的時候會變得十分地模糊,而如果采用邊緣信號的話,那么將會十分地清晰,這是因為傳統(tǒng)RGB傳感器拍攝的圖像是一幀一幀的,而事件視覺傳感器則是抓拍到連貫的、時間上面稠密的影像,通過融合可以將原來30幀的畫面插幀到120幀,甚至還可以達到上千幀的表現(xiàn)。不過對于手機用戶來說,上千幀的速度顯然太過于浪費,因此這種插幀的技術最大的作用就是降低了手機拍攝超高清視頻所需要的數(shù)據(jù)量,例如拍攝一段60幀的8K視頻,原來需要旗艦級的CMOS以及處理器,而現(xiàn)在有了事件視覺傳感器,可以拍攝10-15幀的影像,隨后用空間稀疏的技術補到30-60幀,進而大量節(jié)省CMOS的算力。除此之外Prophesee事件視覺傳感器還可以幫助手機更好地識別光源的情況,從而給出對應的策略,例如提升快門曝光時間等,以解決十分讓人頭疼的頻閃問題,達到提升手機影像效果的作用。
另外,事件視覺傳感技術已經(jīng)在老人跌倒檢測領域得到應用。該技術涉及家居隱私保護和AI智能影像管理方面。與傳統(tǒng)的毫米波雷達相比,事件傳感在復雜環(huán)境中表現(xiàn)出很強的魯棒性,解決了誤報率高的問題,并且即使在洗手間濕度大的環(huán)境下也能保證超高準確度和極低誤報率。此外雷鳥以及Ultraleap與Prophesee也有合作,共同研發(fā)低功耗的手勢識別技術,借助事件視覺傳感器事實地記錄各種各樣的數(shù)據(jù),讓AR眼鏡作出最后的決策,相比較傳統(tǒng)傳感器,事件視覺傳感器的優(yōu)點在于更低的功耗,工作功耗在3-4毫瓦之間,與其他產(chǎn)品的待機功耗幾乎相同,能夠讓AR眼鏡大幅減少功耗,從而增加續(xù)航。可以說事件視覺傳感器的普及也讓手機、AR/VR等設備擁有更大的發(fā)揮空間,從而為消費者帶來高效便捷的生活。