神經性波前整形相機克服了光學成像中的光散射問題

在實驗中，由萊斯大學和馬里蘭大學的合作者發(fā)明的名為NeuWS的相機技術，能夠糾正相機和被成像物體之間的光散射介質的干擾。上排顯示的是一個蝴蝶郵票的參考圖像（左），普通相機通過一塊大約80微米厚的洋蔥皮拍攝的郵票（中間），以及修正了洋蔥皮光散射的NeuWS圖像（右）。中間一行顯示了以0.5度的光擴散器為散射介質的狗食道組織樣本的參考（左）、未校正（中）和校正（右）圖像，最下面一行顯示了以涂有指甲油的玻璃片為散射介質的正解目標的相應圖像。每行的插圖特寫顯示在左邊，以供比較。資料來源：Veeraraghavan實驗室/萊斯大學

來自萊斯大學和馬里蘭大學的工程師們創(chuàng)造了全動態(tài)視頻技術，該技術有可能被用來制造相機，以透過霧、煙、雨、渾濁的水、皮膚、骨骼和其他反射散射光并遮蔽物體的介質。

"通過散射介質成像是目前光學成像的'圣杯問題'，"萊斯大學的Ashok Veeraraghavan說，他是今天發(fā)表在《科學進展》上的一項開放性研究的共同通訊作者。"散射是使光--它的波長較低，因此能提供更好的空間分辨率--在許多、許多情況下無法使用。如果你能消除散射的影響，那么成像就會走得更遠。

Veeraraghavan的實驗室與馬里蘭州共同通訊作者Christopher Metzler的研究小組合作，創(chuàng)造了一項他們命名為NeuWS的技術，這是 "神經波前塑形 "的縮寫，是該技術的核心技術。

"如果你問那些正在研究自動駕駛汽車的人他們面臨的最大挑戰(zhàn)，他們會說，'壞天氣。我們無法在惡劣的天氣下進行良好的成像"。Veeraraghavan說。"他們說的是'壞天氣'，但他們的意思，從技術角度講，是光散射。"

"如果你問生物學家關于顯微鏡的最大挑戰(zhàn)，他們會說，'我們不能在體內對深層組織進行成像'。他們說的是'深層組織'和'體內'，但實際上他們的意思是，他們想看透的皮膚和其他組織層在散射光。如果你問水下攝影師他們最大的挑戰(zhàn)，他們會說，'我只能給離我很近的東西拍照'。他們實際上的意思是，光線在水中散射，因此不能深入到足以讓他們關注到遠處的事物。在所有這些情況以及其他情況下，真正的技術問題是散射。"

Veeraraghavan說，NeuWS有可能被用來克服這些情況和其他情況下的散射問題。

"他說："這對我們來說是一個很大的進步，以一種可能實用的方式來解決這個問題。"在我們能夠在這些應用領域中的每一個領域中實際建立原型之前，還有很多工作要做，但是我們所展示的方法可以穿越它們。"

從概念上講，NeuWS是基于這樣的原理：光波是復雜的數(shù)學量，具有兩個關鍵屬性，可以針對任何給定的位置進行計算。第一個，幅度，是波在該地點攜帶的能量，第二個是相位，是波在該地點的振蕩狀態(tài)。Metzler和Veeraraghavan說，測量相位是克服散射的關鍵，但由于光的高頻性，直接測量相位是不現(xiàn)實的。

因此，他們改用 "波陣 "來測量入射光線--包含相位和強度信息的單一測量，并使用后端處理來快速破譯每秒幾百次波陣測量的相位信息。

"技術上的挑戰(zhàn)是找到一種快速測量相位信息的方法，"馬里蘭計算機科學助理教授、"三只貓頭鷹 "萊斯大學校友梅茨勒說，他分別于2019年、2014年和2013年在萊斯大學獲得電氣和計算機工程的博士、碩士和學士學位。在Veeraraghavan及其同事于2020年發(fā)表的名為WISH的波前處理技術的早期迭代開發(fā)過程中，Metzler就在萊斯大學。

"WISH解決了同樣的問題，但它是在所有東西都是靜態(tài)和美好的假設下工作的，"Veeraraghavan說。"當然，在現(xiàn)實世界中，事情一直在變化。"

他說，對于NeuWS，我們的想法是不僅要消除散射的影響，而且要足夠快地消除它們，以便散射介質本身在測量期間不發(fā)生變化。

"Veeraraghavan說："你不是測量振蕩狀態(tài)本身，而是測量它與已知波陣的相關性。"你采取一個已知的波前，你把它與未知的波前進行干擾，你測量兩者產生的干擾模式。這就是這兩個波面之間的相關性。"

梅茨勒用晚上透過云霧看北極星來作比喻。"如果我知道北極星應該是什么樣子，而且我可以知道它以一種特定的方式被模糊了，那么這就告訴我其他東西將如何被模糊。"

Veerarghavan說："這不是一種比較，而是一種關聯(lián)，如果你至少測量三個這樣的關聯(lián)，你就可以唯一地恢復未知的波前。"

最先進的空間光調制器每分鐘可以進行幾百次這樣的測量，Veeraraghavan、Metzler及其同事表明他們可以使用一個調制器和他們的計算方法來捕捉移動物體的視頻，這些物體被介入的散射介質遮擋住了。

"這項研究的主要作者之一、Veeraraghavan研究小組的博士生、萊斯大學的郭海云說："這是第一步，是這項技術能夠實時糾正光散射的原理證明。

例如，在一組實驗中，含有貓頭鷹或烏龜印刷圖像的顯微鏡載玻片在轉軸上旋轉，并由一臺高空攝像機進行拍攝。光散射介質被放置在攝像機和目標幻燈片之間，研究人員測量了NeuWS對光散射的修正能力。散射介質的例子包括洋蔥皮、涂有指甲油的載玻片、雞胸組織切片和光擴散膜。對于其中的每一種，實驗顯示NeuWS可以糾正光散射并產生清晰的旋轉數(shù)字視頻。

Metzler說："我們開發(fā)了算法，使我們能夠連續(xù)地估計散射和場景，"。"這就是使我們能夠做到這一點的原因，我們用稱為神經表征的數(shù)學機器來做，使它既高效又快速。"

NeuWS快速調制來自入射波面的光，以創(chuàng)建幾個稍微改變的相位測量。然后，這些改變的相位被直接送入一個16,000個參數(shù)的神經網絡，該網絡迅速計算出必要的關聯(lián)，以恢復波前的原始相位信息。

"Veeraraghavan說："神經網絡允許我們設計需要更少測量的算法，從而使它更快。

梅茨勒說，"這實際上是最大的賣點。更少的測量，基本上意味著我們需要更少的捕獲時間。這使我們能夠捕獲視頻而不是靜止幀。"

參考資料

Brandon Y. Feng et al, NeuWS: Neural wavefront shaping for guidestar-free imaging through static and dynamic scattering media, Science Advances (2023). DOI: 10.1126/sciadv.adg4671