半导体
一家法國晶片公司模擬人眼，要讓手機、AR/VR領域再展新玩法
2023-07-17
起初，這個十分新穎的技術幫助了視網膜受損的全盲患者恢復視力。
這項技術是“基於事件視覺感測器（Event-based Vision Sensor; EVS）”，因為可模擬人眼視網膜運作，也被稱為是有別於傳統感測器的“矽”視網膜。 這項技術成功幫助了視網膜受損的視障者恢復視力，也是Prophesee於2014年在巴黎成立的靈感來源。
Prophesee副總裁兼大中華區總經理楊雪飛對《問芯Voice》表示，最早是Prophesee歐盟做一個幫助盲人復明的項目，技術來自仿生學，在人的眼睛裡面有機理，視網膜上面有視錐細胞 和視桿細胞，視錐細胞負責捕捉色彩，視桿細胞負責捕捉光亮度的變化。 如果把RGB感測器比喻成視錐細胞，Prophesee的感測器就是視桿細胞的機制。
盲人是有很多種不同的起因的，有一種是因為視桿細胞受損造成的視覺上面的障礙，當時歐盟有一個大項目是把EVS感測器作為數據的採集部分，相當於視桿細胞的採集， 然後後面會有傳輸部分、演算法部分和人機連接的部分。
「基於事件視覺感測器EVS」技術的本質在開發模擬人眼的人工模型，可模擬人眼視網膜運作原理，Prophesee將EVS技術在醫療領域實現可行性後，現在積極拓展到工業和消費性電子領域。
2023年初，Prophesee宣布與手機處理器龍頭高通達成深度合作，在驍龍平台上整合EVS技術感測器，是該技術的一個重要里程碑。
楊雪飛指出，EVS技術用在手機並不是想取代現有的拍照方式，而是藉由這項技術來提升現在的拍照效果。 從前年開始，EVS技術就在手機市場找到了一個非常明確的應用目標，也就是去模糊（deblur）的應用場景。
Blur指的是拍照時會出現的模糊的狀態，尤其是手機拍照時，大多數的應用場景都不是風和日麗的戶外場景，很多情況下是在光線不太充足的室內場景。 光線暗的場景通常會增加曝光時間，但是增加曝光時間後，任何的動作都會在曝光時間當中產生模糊，這是手機拍照很常見的問題。
因此，手機廠商就想到了運用EVS技術去做相應的去模糊（deblur）的演算法，從而得到非常清晰的照片，給了EVS技術切入手機市場很好的機會。
Prophesee在偌大的手機市場邁開一大步，目前與不只一家廠商簽訂了相應的合作規劃，預計今年將有採用Prophesee的EVS技術的新款手機發表。
楊雪飛對《問芯Voice》表示：「一個技術從問世到成熟商用落地，至少需要十年時間。」成立將近十年的Prophesee在這個時間點攜手高通，所撞出的火花對EVS技術朝消費性 電子領域發展很重要。
他解釋，以視覺技術為例，在CMOS出現以前，所有的產品當中使用的都是電荷耦合元件感測器（CCD sensor），CMOS取代CCD的過程花了10多年的時間。 CMOS雖然有成本低的優勢，但是畫質差，所以它花了很長一段時間，讓半導體製程逐漸達到了市場所需的水準，才進入了量變到質變的過程。
目前是科技快速巨變的時代，從年初的ChatGPT第一次出現後，AI發展的速度就超越了人們的想像。 AI要如何幫助手機拍照得到更好的效果？ Prophesee的策略夥伴之一高通很早就想到這個趨勢，讓AI能夠在它的硬體平台上面得到非常好的應用，高通已經在平台上為AI準備了相應的硬體基礎，所缺少的是如何用 軟體的應用去把它的硬體資源利用起來。
因此，當Prophesee和手機廠商合作之後，高通非常好的融入了進來，和Prophesee成為了策略夥伴。
去年高通開了兩場驍龍峰會，一場在夏威夷，一場在中國。 在高峰會上，高通都有專門在台上介紹了和Prophesee之間的合作，因為我們Prophesee的deblur本身就是一種透過AI的方法或機器學習（machine learning）的方法去改善畫質，彼此的策略很 快的匹配在一起。
物聯網市場
除了手機市場，物聯網也是EVS技術非常重要的市場，例如Prophesee提出一款監控老人跌倒並提供警報的解決方案，就是因應不少在疫情防控期間出現過的老人因為身體原因跌倒的案例。
楊雪飛指出，隨著社會老化嚴重，現在很多年輕人和老人不住在一起的，也不在一個城市，能夠即時了解到老人有沒有發生特殊情況是很重要的。 同時，考慮到安裝監視器有隱私問題，尤其在浴室這樣好發老人跌到的場所中，也不太可能安裝一個攝影機來監控，EVS技術是非常適合的解決方案。
首先，EVS技術沒有隱私問題，因為它不會拍攝影像，它只有物體的邊緣（輪廓）資訊。
第二，EVS技術可以用AI技術在本地直接在本地的設備上做相應的AI演算法運算，來判斷這個老人現在是不是跌倒了或是出現了異常的狀況，不需要透過雲端服務。 然後再透過手機或平板電腦向子女親人重複推送，告訴他們有可能出現了緊急狀況。
這一整套系統都可以在端這邊直接運行，不需要依賴雲端，可降低用戶的成本，因為雲端服務是每個月都要付費的。 再者，對外輸出沒有任何影像，只是一個預警訊號，可以極大的保護了隱私。
以中長期的應用角度，AR/VR市場會是接下來一個非常爆炸性的賽道，同時也適合EVS技術發揮。
楊雪飛表示，AR/VR賽道當中有很多應用是可以利用EVS技術來提升效果的。 一個比較熱門的是眼球追踪，因為在 AR/VR設備當中，需要知道人眼關注的方向，從而去調整改變它的顯示。 然如果AR/VR的顯示器一直顯示高清4k或至少是 HD高清的顯示，功耗會非常的大。
對AR/VR設備而言，要如何延長它的續航時間是關鍵核心之一。 所以從顯示的層面，它最好只在你眼睛關注的那一小部分區域做清晰顯示，其他的區域可以略作模糊，如此一來可以降低它的功耗。 要實現上述效果，就要做很好的眼球追踪，讓這些AR/VR設備知道你眼球關注的方向。
人的眼睛的轉動速度是非常快的，對相機的速度有很高的要求，如果用傳統的 RGB感應器，拍影片是每秒24幀到30幀。 Meta有相關的論文說要防止暈眩感，讓消費者有更好的使用體驗，攝影機大概要達到每秒200多張的速度。 從每秒20幾幀到200多幀，10倍的速度，相機的耗電量就變得非常大。
這時候，由於EVS技術能夠有效率地捕捉動態影像，以及它輸出的資料不是全幀輸出，只選擇那個事件輸出，就能夠大幅減少資料量。
打個比方，如果一張桌子是我的視線範圍，也就是全場景，如果在桌上面什麼都沒動，EVS感測器不會輸出任何數據，但如果眼球動一下的話，只輸出眼球的邊緣資訊。 這個資料量相對於傳統的感測器來說，有可能不只是幾十分之一，甚至有可能幾百分之一，相對地功耗也降低了，後端的運算難度也降低了。
另一個情況是，許多用過VR玩遊戲或看影片的人都會有頭暈的狀況。 Meta曾經分析並指出了四個造成暈眩的原因，其中有兩個原因都是可以藉由EVS技術而獲得很好地解決，一是幀率不夠，也就是速度不夠，現在只有二十幾幀 ，Meta認為要200幀左右才能夠比較好解決這個問題。
第二個是延時，延遲不單是收集資料的速度，還有後端運算的速度，就是整體的延遲。 延時越長代表我眼睛移過來了，影像還沒有變化，要過一段時間再移過來，這也是造成暈眩的重要原因。
針對這種情況，EVS的優點在於，第一它沒有幀率，因此擷取資料的速度極快；第二是資料量小，這樣不僅降低功耗，資料傳輸的速度也更快了，而且節省算 力，運算速度也更快了，可以大幅提升使用者體驗。
楊雪飛表示，這在方面，Meta一直是Prophesee非常好的合作夥伴，Meta在公開發布的論文裡面就有大量關於EVS應用在眼球追踪上面的論述，以及提到使用了Prophesee產品做的一些驗證工作。
採用40/28nm製程，與SONY合作生產
Prophesee的EVS感測器目前在索尼Sony位於日本的九州工廠生產，採用40nm製程，目前也正在規劃28nm或22nm製程的技術。 索尼本身也是Prophesee的股東之一，雙方在2015年開始合作量產第一代感測器，2017年第二代，2019年合作第三代，到了2021年雙方合作第四代感測器時，索尼已經成為股東 兼合作夥伴。
針對EVS感測器的製程技術，楊雪飛解釋，影像感測器不像傳統CPU，有一個非常關鍵的影響因素，不是電，而是光。 因為它要把光轉化為電，不是一個純電的運算。 現今的儲存技術可能需要5nm、4nm的過程，因為我可以放更多的容量進去，但對於影像感測器來說，如果把它做得很小，進光量就會太小。 這就是為什麼專業照相機要這麼大，光越少拍出來的效果越差。
當在做手機上的感應器的時候，其實要想辦法去做一個權衡。 專業相機都是用非常大的感應器，但是手機沒有辦法接受這麼大的感應器，所以手機需要在畫質和尺寸上面最後要做一個權衡，然後才得到我們現在使用的產品。
因此影像感測器不會一味去追求半導體最先進的過程，沒有這個必要，而是要同時考慮到光的接受度和電訊號，因此現在的22nm、28nm已經非常夠用。
Prophesee也對《問芯Voice》完整地解釋了「基於事件視覺感測器（Event-based Vision Sensor; EVS）」的技術原理和發展歷程。 除了上述提到的醫療領域，EVS技術更早之前其實是應用在工業領域。
該技術有幾個特點：
第一是速度非常的快，它沒有幀的概念；
第二是它受光源的影響小，所以動態幅度範圍非常的大。 這些特點可以很好的適用於機器視覺，因為機器視覺本身也不是給人看的。
我們常說的傳統的視覺領域，首先是滿足人眼的要求，不管最早是畫畫、拍照、拍電影視頻，其實都是去取悅人的眼睛。 直到後來逐步的發展到了工業自動化的階段，漸漸發現視覺不單是為人服務，也為機器服務。
人是感知色彩的，色彩很重要，所以過去RGB感測器是傳統視覺的主流感測器。 但是當進入機器視覺了之後，那就不完全是要透過視覺的色彩去判斷東西，很多邊緣的人工智慧運算法就應運而生。
在這個過程當中，如果色彩不再是機器做判斷的核心要素的話， EVS就會成為一個非常好的替代對象。 因為EVS提供的就是一個快速的邊緣的信息，而且是一個運動的信息，數據會更有效率化，性能也會更有效率化。
機器視覺的處理單元是類似CPU、GPU這樣高速運轉的設備，餵給它東西的速度變快了，時間上更密集，它能得到的結果也更有效率。 所以這是一個非常好的搭配。
Prophesee本身就是一家法國公司，歐洲和日本的工業化比較早，因此這樣的技術會有一些工業化市場的應用。
手機對EVS技術而言，會帶來非常不一樣的狀況。 有別於工業領域的量少但價高，手機屬於消費性的產品，數量大且需要很親民的價格，這是兩個特質非常不一樣的市場。
楊雪飛表示，半導體技術的未來相信主要還是在消費類的不同應用上面，所以進入到手機市場，對Prophesee的整個業務會是一個新的台階，從工業領域開始進入到消費領域，是一個非常大的 市場面擴展。
起初，這個十分新穎的技術幫助了視網膜受損的全盲患者恢復視力。
這項技術是“基於事件視覺感測器（Event-based Vision Sensor; EVS）”，因為可模擬人眼視網膜運作，也被稱為是有別於傳統感測器的“矽”視網膜。 這項技術成功幫助了視網膜受損的視障者恢復視力，也是Prophesee於2014年在巴黎成立的靈感來源。
Prophesee副總裁兼大中華區總經理楊雪飛對《問芯Voice》表示，最早是Prophesee歐盟做一個幫助盲人復明的項目，技術來自仿生學，在人的眼睛裡面有機理，視網膜上面有視錐細胞 和視桿細胞，視錐細胞負責捕捉色彩，視桿細胞負責捕捉光亮度的變化。 如果把RGB感測器比喻成視錐細胞，Prophesee的感測器就是視桿細胞的機制。
盲人是有很多種不同的起因的，有一種是因為視桿細胞受損造成的視覺上面的障礙，當時歐盟有一個大項目是把EVS感測器作為數據的採集部分，相當於視桿細胞的採集， 然後後面會有傳輸部分、演算法部分和人機連接的部分。
「基於事件視覺感測器EVS」技術的本質在開發模擬人眼的人工模型，可模擬人眼視網膜運作原理，Prophesee將EVS技術在醫療領域實現可行性後，現在積極拓展到工業和消費性電子領域。
2023年初，Prophesee宣布與手機處理器龍頭高通達成深度合作，在驍龍平台上整合EVS技術感測器，是該技術的一個重要里程碑。
楊雪飛指出，EVS技術用在手機並不是想取代現有的拍照方式，而是藉由這項技術來提升現在的拍照效果。 從前年開始，EVS技術就在手機市場找到了一個非常明確的應用目標，也就是去模糊（deblur）的應用場景。
Blur指的是拍照時會出現的模糊的狀態，尤其是手機拍照時，大多數的應用場景都不是風和日麗的戶外場景，很多情況下是在光線不太充足的室內場景。 光線暗的場景通常會增加曝光時間，但是增加曝光時間後，任何的動作都會在曝光時間當中產生模糊，這是手機拍照很常見的問題。
因此，手機廠商就想到了運用EVS技術去做相應的去模糊（deblur）的演算法，從而得到非常清晰的照片，給了EVS技術切入手機市場很好的機會。
Prophesee在偌大的手機市場邁開一大步，目前與不只一家廠商簽訂了相應的合作規劃，預計今年將有採用Prophesee的EVS技術的新款手機發表。
楊雪飛對《問芯Voice》表示：「一個技術從問世到成熟商用落地，至少需要十年時間。」成立將近十年的Prophesee在這個時間點攜手高通，所撞出的火花對EVS技術朝消費性 電子領域發展很重要。
他解釋，以視覺技術為例，在CMOS出現以前，所有的產品當中使用的都是電荷耦合元件感測器（CCD sensor），CMOS取代CCD的過程花了10多年的時間。 CMOS雖然有成本低的優勢，但是畫質差，所以它花了很長一段時間，讓半導體製程逐漸達到了市場所需的水準，才進入了量變到質變的過程。
目前是科技快速巨變的時代，從年初的ChatGPT第一次出現後，AI發展的速度就超越了人們的想像。 AI要如何幫助手機拍照得到更好的效果？ Prophesee的策略夥伴之一高通很早就想到這個趨勢，讓AI能夠在它的硬體平台上面得到非常好的應用，高通已經在平台上為AI準備了相應的硬體基礎，所缺少的是如何用 軟體的應用去把它的硬體資源利用起來。
因此，當Prophesee和手機廠商合作之後，高通非常好的融入了進來，和Prophesee成為了策略夥伴。
去年高通開了兩場驍龍峰會，一場在夏威夷，一場在中國。 在高峰會上，高通都有專門在台上介紹了和Prophesee之間的合作，因為我們Prophesee的deblur本身就是一種透過AI的方法或機器學習（machine learning）的方法去改善畫質，彼此的策略很 快的匹配在一起。
物聯網市場
除了手機市場，物聯網也是EVS技術非常重要的市場，例如Prophesee提出一款監控老人跌倒並提供警報的解決方案，就是因應不少在疫情防控期間出現過的老人因為身體原因跌倒的案例。
楊雪飛指出，隨著社會老化嚴重，現在很多年輕人和老人不住在一起的，也不在一個城市，能夠即時了解到老人有沒有發生特殊情況是很重要的。 同時，考慮到安裝監視器有隱私問題，尤其在浴室這樣好發老人跌到的場所中，也不太可能安裝一個攝影機來監控，EVS技術是非常適合的解決方案。
首先，EVS技術沒有隱私問題，因為它不會拍攝影像，它只有物體的邊緣（輪廓）資訊。
第二，EVS技術可以用AI技術在本地直接在本地的設備上做相應的AI演算法運算，來判斷這個老人現在是不是跌倒了或是出現了異常的狀況，不需要透過雲端服務。 然後再透過手機或平板電腦向子女親人重複推送，告訴他們有可能出現了緊急狀況。
這一整套系統都可以在端這邊直接運行，不需要依賴雲端，可降低用戶的成本，因為雲端服務是每個月都要付費的。 再者，對外輸出沒有任何影像，只是一個預警訊號，可以極大的保護了隱私。
以中長期的應用角度，AR/VR市場會是接下來一個非常爆炸性的賽道，同時也適合EVS技術發揮。
楊雪飛表示，AR/VR賽道當中有很多應用是可以利用EVS技術來提升效果的。 一個比較熱門的是眼球追踪，因為在 AR/VR設備當中，需要知道人眼關注的方向，從而去調整改變它的顯示。 然如果AR/VR的顯示器一直顯示高清4k或至少是 HD高清的顯示，功耗會非常的大。
對AR/VR設備而言，要如何延長它的續航時間是關鍵核心之一。 所以從顯示的層面，它最好只在你眼睛關注的那一小部分區域做清晰顯示，其他的區域可以略作模糊，如此一來可以降低它的功耗。 要實現上述效果，就要做很好的眼球追踪，讓這些AR/VR設備知道你眼球關注的方向。
人的眼睛的轉動速度是非常快的，對相機的速度有很高的要求，如果用傳統的 RGB感應器，拍影片是每秒24幀到30幀。 Meta有相關的論文說要防止暈眩感，讓消費者有更好的使用體驗，攝影機大概要達到每秒200多張的速度。 從每秒20幾幀到200多幀，10倍的速度，相機的耗電量就變得非常大。
這時候，由於EVS技術能夠有效率地捕捉動態影像，以及它輸出的資料不是全幀輸出，只選擇那個事件輸出，就能夠大幅減少資料量。
打個比方，如果一張桌子是我的視線範圍，也就是全場景，如果在桌上面什麼都沒動，EVS感測器不會輸出任何數據，但如果眼球動一下的話，只輸出眼球的邊緣資訊。 這個資料量相對於傳統的感測器來說，有可能不只是幾十分之一，甚至有可能幾百分之一，相對地功耗也降低了，後端的運算難度也降低了。
另一個情況是，許多用過VR玩遊戲或看影片的人都會有頭暈的狀況。 Meta曾經分析並指出了四個造成暈眩的原因，其中有兩個原因都是可以藉由EVS技術而獲得很好地解決，一是幀率不夠，也就是速度不夠，現在只有二十幾幀 ，Meta認為要200幀左右才能夠比較好解決這個問題。
第二個是延時，延遲不單是收集資料的速度，還有後端運算的速度，就是整體的延遲。 延時越長代表我眼睛移過來了，影像還沒有變化，要過一段時間再移過來，這也是造成暈眩的重要原因。
針對這種情況，EVS的優點在於，第一它沒有幀率，因此擷取資料的速度極快；第二是資料量小，這樣不僅降低功耗，資料傳輸的速度也更快了，而且節省算 力，運算速度也更快了，可以大幅提升使用者體驗。
楊雪飛表示，這在方面，Meta一直是Prophesee非常好的合作夥伴，Meta在公開發布的論文裡面就有大量關於EVS應用在眼球追踪上面的論述，以及提到使用了Prophesee產品做的一些驗證工作。
採用40/28nm製程，與SONY合作生產
Prophesee的EVS感測器目前在索尼Sony位於日本的九州工廠生產，採用40nm製程，目前也正在規劃28nm或22nm製程的技術。 索尼本身也是Prophesee的股東之一，雙方在2015年開始合作量產第一代感測器，2017年第二代，2019年合作第三代，到了2021年雙方合作第四代感測器時，索尼已經成為股東 兼合作夥伴。
針對EVS感測器的製程技術，楊雪飛解釋，影像感測器不像傳統CPU，有一個非常關鍵的影響因素，不是電，而是光。 因為它要把光轉化為電，不是一個純電的運算。 現今的儲存技術可能需要5nm、4nm的過程，因為我可以放更多的容量進去，但對於影像感測器來說，如果把它做得很小，進光量就會太小。 這就是為什麼專業照相機要這麼大，光越少拍出來的效果越差。
當在做手機上的感應器的時候，其實要想辦法去做一個權衡。 專業相機都是用非常大的感應器，但是手機沒有辦法接受這麼大的感應器，所以手機需要在畫質和尺寸上面最後要做一個權衡，然後才得到我們現在使用的產品。
因此影像感測器不會一味去追求半導體最先進的過程，沒有這個必要，而是要同時考慮到光的接受度和電訊號，因此現在的22nm、28nm已經非常夠用。
Prophesee也對《問芯Voice》完整地解釋了「基於事件視覺感測器（Event-based Vision Sensor; EVS）」的技術原理和發展歷程。 除了上述提到的醫療領域，EVS技術更早之前其實是應用在工業領域。
該技術有幾個特點：
第一是速度非常的快，它沒有幀的概念；
第二是它受光源的影響小，所以動態幅度範圍非常的大。 這些特點可以很好的適用於機器視覺，因為機器視覺本身也不是給人看的。
我們常說的傳統的視覺領域，首先是滿足人眼的要求，不管最早是畫畫、拍照、拍電影視頻，其實都是去取悅人的眼睛。 直到後來逐步的發展到了工業自動化的階段，漸漸發現視覺不單是為人服務，也為機器服務。
人是感知色彩的，色彩很重要，所以過去RGB感測器是傳統視覺的主流感測器。 但是當進入機器視覺了之後，那就不完全是要透過視覺的色彩去判斷東西，很多邊緣的人工智慧運算法就應運而生。
在這個過程當中，如果色彩不再是機器做判斷的核心要素的話， EVS就會成為一個非常好的替代對象。 因為EVS提供的就是一個快速的邊緣的信息，而且是一個運動的信息，數據會更有效率化，性能也會更有效率化。
機器視覺的處理單元是類似CPU、GPU這樣高速運轉的設備，餵給它東西的速度變快了，時間上更密集，它能得到的結果也更有效率。 所以這是一個非常好的搭配。
Prophesee本身就是一家法國公司，歐洲和日本的工業化比較早，因此這樣的技術會有一些工業化市場的應用。
手機對EVS技術而言，會帶來非常不一樣的狀況。 有別於工業領域的量少但價高，手機屬於消費性的產品，數量大且需要很親民的價格，這是兩個特質非常不一樣的市場。
楊雪飛表示，半導體技術的未來相信主要還是在消費類的不同應用上面，所以進入到手機市場，對Prophesee的整個業務會是一個新的台階，從工業領域開始進入到消費領域，是一個非常大的 市場面擴展。