微透鏡陣列圖像特征學習不同稀疏橋梁模板所對應的輸入子孔徑圖像陣列的結構不同,直接對其進行空間一角度維度的特征提取往往難以獲得令人滿意的結果。而微透鏡陣列圖像可視為以宏像素為基本單元的2D圖像,因此,構建了一個微透鏡陣列圖像特征學習橋梁模板模塊,其利用了一個殘差密集塊來對微透鏡陣列圖像進行特征提取。RDB采用密集連接和局部特征融合的方式以融合來自所有卷積層的層次特征,能夠簡單且有效地利用RDB中所有層的特征。這里利用RDB對微透鏡陣列圖像進行初步特征提取以減少插值所帶來的差異,旨在解決采用不同稀疏橋梁模板時光場特征提取的問題。通過將不同稀疏橋梁模板所對應的輸入光場圖像表示為存在細微差異的微透鏡陣列圖像,并基于此進行特征提取,可有效提高對不同稀疏采樣的輸入光場圖像進行重建的靈活性。子孔徑圖像級特征融合在微透鏡陣列圖像特征提取時,所采用的針對不同稀疏橋梁模板的特征提取方式會使光場圖像的角度一致性遭到一定程度上的破壞。為此,設計了一個微透鏡陣列圖像特征至子孔徑特征的轉換過程,并構建了子孔徑圖像級特征融合橋梁模板模塊,其結構如圖3所示。首先,將輸入的微透鏡陣列圖像特征在通道維度上重組以匹配子孔徑圖像維度;然后,通過3個1x1卷積和2個代理注意力機制進行漸進式地融合,并輔以殘差連接以恒等的方式加速收斂。圖3中的1x1卷積主要用于不同子孔徑特征之間的漸進式融合,而代理注意力機制則加強子孔徑特征的全局信息表達,二者交互結合以更高效地將微透鏡陣列圖像特征轉換為子孔徑圖像特征,保護光場角度一致性、減少信息的損耗。 上述步驟所提取特征僅針對輸入角度位置的參考子孔徑圖像進行光場特征提取,而所提方法需要滿足對任意角度位置子孔徑圖像進行重建的需求。因此,通過一個特征映射橋梁模板模塊,基于給定的目標角度坐標,對所提取的子孔徑圖像特征進行映射并轉化為所需中間輸出,圖4給出了特征映射橋梁模板模塊結構圖。具體來說,給定目標角度坐標ptar,通過一個組算子將其進行維度拓展以匹配輸入特征的空間維度,并與輸入特征進行拼接;然后,將拼接的目標角度信息與所提取光場特征通過一個1X1卷積和差密集塊進行融合。最后,將融合后特征輸入至兩個殘差密集塊以分別生成中間卷積核權重與偏置圖。具體表示為其中,表示所生成的中間卷積核權重,N表示參考子孔徑圖像數量,表示卷積核大小。表示所生成的偏置圖,M表示映射函數,為輸入目標角度坐標。值得注意的是,偏置圖的空間分辨率與子孔徑圖像的分辨率保持一致。http://www.zosko.cn |