2022年1月16日 星期日

論文筆記:UCN - Universal Correspondence Network

本文介紹的 UCN [1] 能解決的不只是 dense feature descriptor 的問題,並且相較於傳統的 feature descriptor 方法,本文利用類神經網路來產生 feature descriptor,經由實驗證明可以用來解決 semantic correspondence 的問題(比如說能夠配對兩隻鳥的眼睛的特徵點)。

以下為架構圖:

UCN

第一部分為 fully convolutional NN,第二部分為 Spatial Transformer 來 normalize 旋轉及 scale,第三部分為 L2 normalization。本文用以下的 loss function 將正樣本與負樣本結合在一起:

UCN loss function

前半是讓兩個正樣本的 descriptor 越近越好,後半是希望讓不配對的 descriptor 的距離至少為 m。文中也提到找隨機的負樣本是沒有幫助的;本文用的方法是先找出離對應特徵點最近的點,假如此點與對應點距離夠遠則加入當負樣本。

參考資料

[1] Universal Correspondence Network

沒有留言:

張貼留言