이 논문은 MICCAI 2024에 accpet된 논문으로 MLP based method를 이용하여 medical image Segmentation을 하는 논문이다. 간략한 리뷰를 해보려한다.
Paper Contribution
- 저자들은 aneurysm image segmentation을 위한 DMPNet, dual-path MLP-based network을 제안하고, DMPNet은 CNN과 결합하기 위한 Axial Residual Connection MLP (ARC−MLP) 모듈을 사용한다. 이 구조는 이미지의 global과 local 구조를 잘 포착한다.
- 저자들은 서로 다른 channel과 location들의 interaction을 향상시키기위해 Shifted Channel−Mixer MLP (SCM−MLP) block을 설계했다.
- DMPNet은 5가지 데이터셋에 대해 Dice와 IoU score에 모두 SOTA 성능을 보인다.
Model Architecture
- Global branch와 Local branch를 동시에 사용하여 이미지의 high-level semantic detail들을 잘 포착해냄
- Global branch에서는 2개의 conv block을 제거한다. → SCM MLP의 shifting operation으로 이미지의 local visual structures를 충분히 잘 포착할 수 있음.
- Local branch에서는 원본 이미지를 4등분하여 각각 처리하고, 이것은 계산복잡도와 성능을 더 높여준다.
- 이후에는 각각의 결과(global과 local)을 add하여 1x1 conv를 통해 마스크를 생성한다.
Shifted Channel−Mixer MLP Block
Shifted Channel−Mixer MLP Block(SCM-MLP)는 가로축과 세로축 두가지 방향에 대해 MLP를 적용한다. 이 과정에서 -2~2범위로 약간씩 이동하면서 보는데, 이 방법은 Swin Transformer 방법에서 영감을 받았다고 한다. 이 방법을 통해 local context를 FC layer에서도 잘 포착할 수 있게 된다고 한다. 이후 결과를 여러 과정(normalization, GELU 등)을 처리해주고 concat해준다.
