lomo

《LookMoreThanOnce（LOMO）：AnAccurateDetectorfor。。。

代碼地址：

1.概述

導讀：這篇?章提出的?本檢測算法（LOMO）主要致?于去解決極端長?本與任意形狀的?本檢測問題，這篇?章處理?本區域表

達的時候會處理多次（體現于IRM模塊），也對應?章標題的LookMoreThanOnce。這篇?章的檢測算法主要由直接回歸單元

（directregressor，DR）（源于EAST）、迭代優化模塊（iterativerefinementmodule，IRM）與任意形狀表達模塊（shape

expressionmodule，SEM）三部分組成。DR檸檬茶的作用 ?成?個?本區域的四邊形檢測框；IRM模塊通過先前會對四邊形檢測框提取的特征

塊進?迭代優化，從?逐漸感知到整個長?本；SEM模塊結合?本區域的?何特征在IRM模塊的基礎上重建更加精準的?本區域表

達，包括?本的區域、?本中?線以及邊界的偏移量；

現有的?本檢測?法存在CNN感受野不?（實際感受野?于理論值）與?本區域表達存在限制的問題，具體見圖1所?

在圖1（a）中每個虛線?絡代表的是對應點出的感受野，可以看出對于那種橫貫整個圖像的?本CNN是很難?次性全部捕獲的，對此?章

是從局部到整體逐步優化實現的。在圖1（b）中展?的是?本表達能?的限制，扭曲形狀更適合扭曲?本表達的形式。

對于上?提到的兩個問題，?章中的算法通過IRM與SEM模塊進?解決。對于長?本的檢測，IRM會在專科什么專業最好 DR四邊形檢測結果的基礎上多次回

歸與GT對應的坐標，依賴于位置的attention機制，IRM可以感受這些位置信息，從?優化整個輸?區域。

對于任意形狀的?本，這?借鑒了MaskRCNN與TextSnake的機制使??本中?線與對應偏移量的形式來表??個?本。

?章的主要貢獻：

1）提出了?個迭代優化模塊IRM去優化長?本的檢測；

2）提出了SEM模塊適應任意形狀的?本檢測；

3）?章提出的檢測算法是端到端的并且在現有的多個數據集上表現為state-of-the-art；

2.?法設計

2.2?絡結構

?章的?絡結構backbone選?的是ResNet-50，使?FPN將stage2~5的特征融合起來，得到分辨率為原始輸?圖尺?的特征圖，通道

為128。

對于DR部分直接是參考EAST中的回歸?法，由于感受野的關系得到的檢測結果并不能很好包含?本區域，見圖2（2）所?。之后IRM模

塊在DR輸出的基礎上進?迭代優化使得檢測框與GT接近。之后西游記的閱讀感想 SEM模塊中去學習?本的中?線與邊界的偏移，從?得到任意形狀?本的檢

測雞絲 結果。

?章的?絡結構backbone選?的是ResNet-50，使?FPN將stage2~5的特征融合起來，得到分辨率為原始輸?圖尺?的特征圖，通道

為128。

對于DR部分直接是參考EAST中的回歸?法，由于感受野的關系得到的檢測結果并不能很好包含?本區域，見圖2（2）所?。之后IRM模

塊在DR輸出的基礎上進?迭代優化使得檢測框與GT接近。之后SEM模塊中去學習?本的中?線與邊界的偏移，從?得到任意形狀?本的檢

測結果。其?絡結構見下圖所?：

2.2DR模塊

在DR模塊中將?本與??本的?分類問題轉換為了?值分割問題，并使?了尺度不變的dice-coefficient作為損失函數，其定義為：

其中，是?值標注，是預測結果，是?維權值空間，其中對于正樣本位置設置為值，負樣本位置為1.0。

對于檢測框的坐標值回歸使?的是smoothL1損失函數，對于4個?點采?的是8個特征圖進?預測。則對于這部分的損失函數為：

這?。

2.3IRM模塊

4

1

4

1

y

y^

wl=64

L=drL+clsLloc

=0.01豬肚雞

IRM模塊的設計參考了基于區域的檢測算法思路（其中的邊界框回歸任務），這?采?RoItransformlayer去提取四邊形proposal區域，

這樣的好處是保持長寬?例不變（所以并未采?RoIPooling或RoIalignPooling），其輸出的維度是。由于與?本區域

?點接近的位置能夠在相同感受野下獲得更加精準的邊界信息，這?使?Cornerattention機制去回歸相對每個?點的坐標偏移。

IRM模塊的結構見下圖所?：

RoItransformlayer的輸出經過3個的卷積得到，之后使??個的卷積與sigmoid操作去學習4個?點的特征圖，之后將兩

個輸出做分組點乘與sumreduce操作：

其輸出結果為代表的是第個?點回歸特征，維度為。這樣就可以得到4個?點的回歸特征圖。在訓練的時候選擇DR模塊

中的前個結果?于訓練，則?點部分的損失函數被搖曳什么意思 定義為：

2.4SEM模塊

SEM模塊中三個?較關鍵的部分是?本區域分割圖、?本中?線以及?本區域的邊界偏移。對于?本中?線是在原?本區域的基礎上進?收

縮得到的，?邊界偏移是?本中?線在?個點上的法線與上下邊界的?點，這??4個特征圖去回歸。則整個SEM模塊的結構見下圖所?：

這?涉及到三個部分的回歸損失，對于這三個部分的損失采?的是如下?式進?組合，其中

對于?中涉及到的3個部分的損失，這?是使?如下的?式進?組合（加權值都為1.0）：

1?8?64?128

3?3fr1?1ma

fc

i

i1?1?1?128

K

=1=20.01,=31

3.實驗結果

3.1性能?較

ICDAR2015：

ICDAR2017-MLT

3.3消融實驗

IRM中迭代優化次數與?點注意?機制對性能的影響：

中?線上點的采樣個數對性能的影響：

IRM與SEM對性能的影響：