두

Scientific Reports 13권, 기사 번호: 12846(2023) 이 기사 인용

268 액세스

2 알트메트릭

측정항목 세부정보

이 연구에서는 자유 호흡의 3D CT 및 2D U/S 신장 스캔을 위한 새로운 심층 등록 파이프라인인 KidneyRegNet을 제안했습니다. 이는 기능 네트워크와 3D-2D CNN 기반 등록 네트워크로 구성됩니다. 피처 네트워크에는 의미론적 격차를 줄이기 위해 손으로 만든 텍스처 피처 레이어가 있습니다. 등록 네트워크는 FIM(feature-image-motion) 손실이 있는 인코더-디코더 구조로, 디코더 계층에서 계층적 회귀를 가능하게 하고 다중 네트워크 연결을 방지합니다. 처음에는 회고적 데이터 세트 겸 훈련 데이터 생성 전략으로 사전 훈련된 다음 현장 애플리케이션에서 감독되지 않은 1주기 전이 학습을 통해 특정 환자 데이터에 적용되었습니다. 실험은 132개의 U/S 시퀀스, 39개의 다중 위상 CT 영상, 210개의 공개 단상 CT 영상, 25쌍의 CT 및 U/S 시퀀스에 대해 수행되었습니다. 이로 인해 CT와 U/S 영상에서 신장 사이의 평균 윤곽 거리(MCD)는 0.94mm, CT와 참조 CT 영상에서는 MCD가 1.15mm가 되었습니다. 작은 변환이 포함된 데이터 세트의 MCD는 각각 0.82mm와 1.02mm였습니다. 큰 변환으로 인해 각각 1.10mm와 1.28mm의 MCD가 생성되었습니다. 이 작업은 새로운 네트워크 구조와 훈련 전략을 통해 자유 호흡 중 3DCT-2DUS 신장 등록의 어려움을 해결했습니다.

의료 영상 등록은 동일하거나 다른 양식에서 생성된 하나의 영상을 다른 영상에 정렬하는 프로세스입니다. 이 정렬된 이미지에는 더 많은 시공간 정보가 포함되어 있으며 이는 이미지 유도 수술1, 질병 모니터링2 및 위험 예측3과 같은 응용 분야에 중요합니다. 동일한 양식의 이미지 간의 등록은 단일 모드 등록이고, 다른 양식의 이미지 간의 등록은 다중 모드 등록입니다. 다양한 영상 기술은 신체의 다양한 조직에 민감합니다. 따라서 서로 다른 양식의 이미지를 서로 등록하여 보완적인 정보를 제공해야 합니다. 그러나 두 이미지의 해당 구조 강도 사이의 복잡한 관계로 인해 이는 어렵습니다. 초음파(U/S) 이미지는 큰 움직임, 작은 시야 및 낮은 스캔 품질로 인해 특히 까다롭습니다. 그럼에도 불구하고 3D-2D 등록이 필요합니다. 이러한 문제에 대한 딥 러닝의 잠재력은 아직 완전히 도달되지 않았습니다4. 본 연구에서는 3D 컴퓨터 단층촬영(CT)에서 2D 초음파(3DCT-2DUS) 신장 등록을 처리하는 2단계 딥러닝 방법을 제안했습니다.

SOTA(State-of-the-art) 방법5은 학습 전략이나 CNN(Convolutional Neural Network) 기반, 심층 적대 네트워크 기반, 변환기 기반 이미지 등록에 따라 지도(supervised), 약한 지도(weakly supervised), 비지도(unsupervised) 등록으로 분류할 수 있습니다. 기본 네트워크 아키텍처에 따라. 지도 등록 6은 이미지와 해당 실제 변환을 사용하여 변환을 예측하도록 훈련되었습니다. 약하게 감독된 등록7,8,9은 해부학적 구조의 중복 분할을 손실 함수로 사용하여 실제 데이터와 관련된 제한을 낮춥니다. 비지도 등록10,11,12,13,14,15은 주어진 이미지 세트에 대한 비유사성 측정을 최소화하여 훈련되며 기준 진실 변환이 필요하지 않습니다. CNN 기반 이미지 등록16,17은 설계된 CNN 아키텍처를 훈련하고 입력 이미지와 변형 필드 간의 매핑을 학습합니다. 심층 적대적 이미지 등록18,19은 생성기 네트워크와 판별기 네트워크로 구성됩니다. 생성기 네트워크는 변환을 생성하도록 훈련되고 판별기 네트워크는 생성된 변환이 현실적이거나 입력 이미지가 잘 등록되었는지 확인하기 위해 유사성 측정 기준을 학습합니다. ViT(Vision Transformer) 기반 등록20,21,22,23,24은 주의 메커니즘을 통해 데이터 간의 고유한 관계를 학습합니다. 우리의 솔루션은 CNN 기반의 비지도 등록입니다. 등록 서브넷이 비지도 학습을 받고 있기 때문에 등록을 비지도 학습이라고 합니다. 기능 서브넷은 등록 작업을 위해 특별히 훈련되지 않고 별도로 훈련됩니다. 이는 독립적인 기능 추출기이며 범용 기능도 우리 솔루션에 적용할 수 있습니다.