본문으로 이동

U-Net

한울위키, 우리 모두의 백과사전.
기계 학습과
데이터 마이닝
섬네일을 만드는 중 오류 발생:
패러다임
문제
지도 학습 (통계적 분류 • 회귀 분석)
클러스터 분석
차원 축소
구조적 예측
이상 탐지
인공 신경망
강화 학습
인간 참여학습
모델 진단
수학적 이론
회의/저널
관련 문서

U-Net은 영상 분할을 위해 개발된 합성곱 신경망이다.[1] 이 신경망은 완전 합성곱 신경망[2]을 기반으로 하며, 더 적은 훈련 영상으로 더 정확한 분할을 얻을 수 있도록 구조가 수정 및 확장되었다. U-Net 구조를 사용하여 512 × 512 영상 분할은 최신 (2015년) GPU에서 1초 미만이 소요된다.[1][3][4][5]

U-Net 구조는 반복적 영상 잡음 제거를 위한 확산 모델에서도 사용되었다.[6] 이 기술은 DALL-E, Midjourney, Stable Diffusion과 같은 많은 현대 영상 생성 모델의 기반이 된다.

설명

U-Net 구조는 이른바 "완전 합성곱 신경망"에서 파생되었다.[2]

주요 아이디어는 일반적인 수축 네트워크에 풀링 작업이 업샘플링 연산으로 대체되는 연속적인 레이어를 보충하는 것이다. 따라서 이 레이어들은 출력의 해상도를 증가시킨다. 이후의 합성곱 레이어는 이 정보를 기반으로 정확한 출력을 조합하는 것을 학습할 수 있다.[1]

U-Net의 중요한 수정 사항 중 하나는 업샘플링 부분에 많은 수의 특징 채널이 있다는 것이다. 이는 네트워크가 맥락 정보를 더 높은 해상도 레이어로 전파할 수 있게 한다. 결과적으로 확장 경로는 수축 부분과 대칭을 이루며, U자형 구조를 만든다. 이 네트워크는 완전 연결 레이어 없이 각 합성곱의 유효한 부분만 사용한다.[2] 영상 테두리 영역의 픽셀을 예측하기 위해 누락된 맥락은 입력 영상을 미러링하여 외삽된다. 이 타일링 전략은 네트워크를 큰 영상에 적용하는 데 중요하다. 그렇지 않으면 해상도가 GPU 메모리에 의해 제한되기 때문이다. 최근에는 의료 영상 분할을 위한 수용장 기반 U-Net 모델에 대한 관심도 있었다.[7]

네트워크 구조

네트워크는 U자형 구조를 부여하는 수축 경로와 확장 경로로 구성된다. 수축 경로는 반복적으로 합성곱을 적용하고, 그 뒤에 렐루 (ReLU)와 최대 풀링 연산을 수행하는 전형적인 합성곱 네트워크이다. 수축 과정에서 공간 정보는 감소하는 반면 특징 정보는 증가한다. 확장 경로는 업컨볼루션 시퀀스를 통해 특징 정보와 공간 정보를 결합하고, 수축 경로에서 얻은 고해상도 특징과 연결한다.[8]

파일:Example architecture of U-Net for producing k 256-by-256 image masks for a 256-by-256 RGB image.png
256x256 RGB 영상에 대해 k개의 256x256 영상 마스크를 생성하는 U-Net의 예시 구조이다.

응용 분야

U-Net은 뇌 영상 분할 (BRATS[9]) 및 간 영상 분할 ("siliver07"[10])과 같은 생의학 영상 분할에 많은 응용 분야가 있으며, 단백질 결합 부위 예측에도 사용된다.[11] U-Net 구현은 재료의 마이크로그래프 분석과 같은 물리 과학 분야에서도 사용되고 있다.[12][13][14] U-Net의 변형은 의료 영상 재구성을 위해서도 적용되었다.[15] U-Net의 일부 변형 및 응용 분야는 다음과 같다:

  1. U-Net을 이용한 픽셀별 회귀 및 팬샤프닝에의 응용;[16]
  2. 3D U-Net: 희소 어노테이션으로부터 밀집된 부피 분할 학습;[17]
  3. TernausNet: 영상 분할을 위한 ImageNet 사전 훈련 VGG11 인코더가 있는 U-Net.[18]
  4. 형광 염색 추정을 위한 이미지 간 변환[19]
  5. 단백질 구조의 결합 부위 예측.[11]

역사

U-Net은 2015년에 올라프 론네베르거(Olaf Ronneberger), 필립 피셔(Philipp Fischer), 토마스 브록스(Thomas Brox)에 의해 만들어졌으며, 논문 "U-Net: Convolutional Networks for Biomedical Image Segmentation"에서 발표되었다.[1] 이는 2014년에 에반 셸하머(Evan Shelhamer), 조나단 롱(Jonathan Long), 트레버 대럴(Trevor Darrell)이 발표한 FCN 논문 "Fully convolutional networks for semantic segmentation"의 개선 및 발전이다.[2]

각주

  1. ↑ 가 나 다 라 봇이 이 인용을 자동으로 완성합니다. 대기열로 바로 이동하기 arXiv:1505.04597.
  2. ↑ 가 나 다 라 Shelhamer E, Long J, Darrell T (Nov 2014). “Fully Convolutional Networks for Semantic Segmentation”. 《IEEE Transactions on Pattern Analysis and Machine Intelligence》 39 (4): 640–651. arXiv:1411.4038. doi:10.1109/TPAMI.2016.2572683. PMID 27244717. S2CID 1629541. 
  3. ↑ Nazem, Fatemeh; Ghasemi, Fahimeh; Fassihi, Afshin; Mehri Dehnavi, Alireza (2021). “3D U-Net: A Voxel-based method in binding site prediction of protein structure”. 《Journal of Bioinformatics and Computational Biology》 19 (2). doi:10.1142/S0219720021500062. PMID 33866960. 
  4. ↑ Nazem, Fatemeh; Ghasemi, Fahimeh; Fassihi, Afshin; Mehri Dehnavi, Alireza (2023). “A GU-Net-Based Architecture Predicting Ligand–Protein-Binding Atoms”. 《Journal of Medical Signals & Sensors》 13 (1): 1–10. doi:10.4103/jmss.jmss_142_21. PMC 10246592 |pmc= 값 확인 필요 (도움말). PMID 37292445. 
  5. ↑ Nazem, Fatemeh; Ghasemi, Fahimeh; Fassihi, Afshin; Mehri Dehnavi, Alireza (2024). “Deep attention network for identifying ligand-protein binding sites”. 《Journal of Computational Science》 81. doi:10.1016/j.jocs.2024.102368. 
  6. ↑ Ho, Jonathan (2020). “Denoising Diffusion Probabilistic Models”. arXiv:2006.11239 [cs.LG]. 
  7. ↑ Loos, Vincent; Pardasani, Rohit; Awasthi, Navchetan (2024년 10월 29일). “Demystifying the effect of receptive field size in U-Net models for medical image segmentation”. 《Journal of Medical Imaging》 11 (05). doi:10.1117/1.jmi.11.5.054004. ISSN 2329-4302. PMC 11520766 |pmc= 값 확인 필요 (도움말). PMID 39478790. 
  8. ↑ “U-Net code”. 
  9. ↑ “MICCAI BraTS 2017: Scope | Section for Biomedical Image Analysis (SBIA) | Perelman School of Medicine at the University of Pennsylvania”. 《www.med.upenn.edu》. 2018년 12월 24일에 확인함. 
  10. ↑ “SLIVER07 : Home”. 《www.sliver07.org》. 2018년 12월 24일에 확인함. 
  11. ↑ 가 나 Nazem F, Ghasemi F, Fassihi A, Dehnavi AM (April 2021). “3D U-Net: A voxel-based method in binding site prediction of protein structure”. 《Journal of Bioinformatics and Computational Biology》 19 (2): 2150006. doi:10.1142/S0219720021500062. PMID 33866960. S2CID 233300145. 
  12. ↑ Chen, Fu-Xiang Rikudo; Lin, Chia-Yu; Siao, Hui-Ying; Jian, Cheng-Yuan; Yang, Yong-Cheng; Lin, Chun-Liang (2023년 2월 14일). “Deep learning based atomic defect detection framework for two-dimensional materials” (영어). 《Scientific Data》 10 (1): 91. Bibcode:2023NatSD..10...91C. doi:10.1038/s41597-023-02004-6. ISSN 2052-4463. PMC 9929095. PMID 36788235. 
  13. ↑ Shi, Peng; Duan, Mengmeng; Yang, Lifang; Feng, Wei; Ding, Lianhong; Jiang, Liwu (2022년 6월 22일). “An Improved U-Net Image Segmentation Method and Its Application for Metallic Grain Size Statistics” (영어). 《Materials》 15 (13): 4417. Bibcode:2022Mate...15.4417S. doi:10.3390/ma15134417. ISSN 1996-1944. PMC 9267311. PMID 35806543. 
  14. ↑ Patrick, Matthew J; Eckstein, James K; Lopez, Javier R; Toderas, Silvia; Asher, Sarah A; Whang, Sylvia I; Levine, Stacey; Rickman, Jeffrey M; Barmak, Katayun (2023년 11월 15일). “Automated Grain Boundary Detection for Bright-Field Transmission Electron Microscopy Images via U-Net” (영어). 《Microscopy and Microanalysis》 29 (6): 1968–1979. arXiv:2312.09392. doi:10.1093/micmic/ozad115. ISSN 1431-9276. PMID 37966960. 
  15. ↑ Andersson J, Ahlström H, Kullberg J (September 2019). “Separation of water and fat signal in whole-body gradient echo scans using convolutional neural networks”. 《Magnetic Resonance in Medicine》 82 (3): 1177–1186. doi:10.1002/mrm.27786. PMC 6618066. PMID 31033022. 
  16. ↑ Yao W, Zeng Z, Lian C, Tang H (2018년 10월 27일). “Pixel-wise regression using U-Net and its application on pansharpening”. 《Neurocomputing》 312: 364–371. doi:10.1016/j.neucom.2018.05.103. ISSN 0925-2312. S2CID 207119255. 
  17. ↑ 봇이 이 인용을 자동으로 완성합니다. 대기열로 바로 이동하기 arXiv:1606.06650.
  18. ↑ 봇이 이 인용을 자동으로 완성합니다. 대기열로 바로 이동하기 arXiv:1801.05746.
  19. ↑ Kandel ME, He YR, Lee YJ, Chen TH, Sullivan KM, Aydin O 외 (December 2020). “Phase imaging with computational specificity (PICS) for measuring dry mass changes in sub-cellular compartments”. 《Nature Communications》 11 (1): 6256. arXiv:2002.08361. Bibcode:2020NatCo..11.6256K. doi:10.1038/s41467-020-20062-x. PMC 7721808. PMID 33288761. 

구현체

  • Tensorflow Unet by J Akeret (2017)
  • U-Net source code from Pattern Recognition and Image Processing at Computer Science Department of the University of Freiburg, Germany.
원본 주소 "https://www.hanul.wiki/w/index.php?title=U-Net&oldid=2075896"