Ⅰ. 서 론

최근 빅데이터의 보편화와 컴퓨터 하드웨어의 급진적인 발전으로 인공신경망(Artificial Neural Network; ANN)의 일종인 딥러닝(Deep learning) 기술이 다양한 분야에서 주 목받고 있다[1-3]. 의료영상 분야에서도 의료영상을 분류, 정합, 분할 등에 딥러닝의 효과가 입증되었으며[3-5], 최근 에는 영상의 잡음을 제거하는 기법이 대두되고 있다[7-10]. 영상에서 대표적인 잡음은 가우시안 잡음(Gaussian noise) 과 임펄스 잡음(Impulse noise) 두 가지 분류의 잡음이 존 재한다[11]. 이러한 영상의 잡음처리 방법은 필터를 이용하 여 영상을 블러링처리 하여 잡음을 제거한다. 주로 가우시 안 필터(Gaussian filter), 중앙값 필터(Median filter)를 이용하며, 이웃한 주변 픽셀들의 값을 가지고 현재 픽셀의 값을 바꿔주는 처리 방법이다[2, 11]. 하지만 필터를 이용한 잡음처리 방법은 잡음이 섞이지 않은 픽셀에도 균일하게 적 용되어 윤곽선과 같은 중요한 정보(detail)를 동시에 열화시 키는 문제점이 있다. 전통적인 필터링 기법 이후 개발된 딥 러닝을 이용한 영상의 잡음을 제거하는 방법으로는 다음과 같이 영상을 수식화할 수 있다. x = s +n, 신호와 잡음이 관측된 영상 x에, 신호는 s, 잡음은 n으로 추정하여 주어진 영상에서 잡음 n을 추정하여 신호 s를 추출하는 알고리즘을 모델링하여 학습된 신경망 네트워크가 원본 이미지를 분석 하여 잡음 영상과의 차이를 최소화하는 방식으로 학습을 하 여 영상의 잡음을 제거하게 된다[13]. 딥러닝을 이용한 영상 의 생성과정은 다음과 같은 가정을 근거로 이루어진다.

영상의 생성과정은 통계적으로 신호 s와 잡음 n이 결합 된 분포를 이루고 있을 때 (식 1), 입력 영상 내의 신호 s에 서 픽셀들 (i, j)는 통계적으로 독립적이지 않으며 (식 2), 잡 음 n은 주어진 신호 s로부터 픽셀 i의 독립적인 통계적 가정 (식 3)을 근거로 훈련을 한다. 즉 input 영상 내에 랜덤하게 존재하는 잡음의 기댓값이 0이라고 가정하면, 영상의 기댓 값은 신호 s임을 의미한다. 결국, 같은 신호의 여러 영상을 취득하였고, 잡음 수준만 다르다면 영상을 평균화했을 때 실제 신호의 결과를 예측할 수 있게 된다. 다양한 딥러닝 분 야에서도 합성 곱 신경망(Convolution Neural Network; CNN)을 기반으로 한 많은 연구결과가 우수한 성능을 보여 주고 있으며, 의료분야 영상분석에서도 많이 사용되고 있 다. CNN은 합성 곱 연산을 통해 다수의 층(layer)을 연결하 는 네트워크와 역전파 알고리즘 (back-propagation)을 이 용하여 최종 출력값과 실제값의 오차가 최소가 되도록 학습 하는 대표적 딥러닝 방법의 하나다[13]. 딥러닝을 기반으로 하는 영상의 잡음 제거 방법은 주로 잡음이 있는 영상과 학 습훈련에 필요한 잡음이 없는 실제 참값 영상(ground truth) 과 쌍을 이루어 훈련하는 방법인 지도 학습방법(supervised learning)이 주를 이루고 있다[7, 15]. 최근 연구에는 훈련 에 필요한 ground truth 영상 없이 입력된 잡음 영상(noisy image)의 특성을 분석하고 이를 학습훈련에 업데이트하여 영상의 잡음을 제거하는 자기 지도 학습(self-supervised learning)을 기반으로 한 영상복원 기법이 개발되었다. 독 립된 한 쌍의 잡음 영상만으로 네트워크 학습이 가능한 Noise2Noise(N2N)[16], 한 단계 더 나아가 하나의 입력 영 상만으로도 학습이 가능한 N2V 연구결과가 소개되었다 [13]. 특히, 의료영상 분야에서는 환자의 데이터 획득 시 학 습훈련에 필요한 ground truth 영상 또는 한 쌍의 잡음 영 상을 획득하기가 어려운 경우가 많은데, N2V 딥러닝 방법 은 이러한 문제에 적용이 가능한 점이 의미가 있다. 이 논 문의 연구 목적은 N2V 네트워크를 의료영상 분야인 핵의 학 영상에 이용하고자 하였다. 핵의학 영상은 방사성 동위 원소에서 방출되는 감마선의 검출 시 획득시간에 따라 영 상의 통계적 잡음 차이가 발생한다. 그러므로 짧은 획득시 간으로 양전자 방출 단층(Positron emission tomography; PET) 영상을 획득한 후 N2V 딥러닝 방법을 이용하여 잡음 제거 효과를 팬텀 실험을 통해 평가하고자 하였다.

Ⅱ. 대상 및 방법

1. 팬텀 실험

팬텀 실험은 NEMA(National Electrical Manufactures Association) IQ (image quality) phantom에 FDG PET and PET/CT: EARL accreditation guidelines의 팬텀을 이용한 영상평가 방법을 기준으로 10 ㎜, 13 ㎜, 17 ㎜, 22 ㎜, 28 ㎜, 37 ㎜ 6개의 구와 배후방사능의 비율이 10:1이 되 도록 F-18 방사성동위원소를 희석하여 팬텀의 구와 배후 방사능 영역에 각각 20 kBq/ml, 2 kBq/ml 방사능 농도가 되도록 주입하였다[15]. PET 영상은 Siemens Biograph mCT40 PET/CT 장비를 이용하여 list-mode로 10분간 영 상을 획득하였다. PET 영상의 감쇠보정을 위해 CT 영상은 120 kVp, 35 mAs 조건으로 영상을 획득하였다. PET 영 상의 재구성은 짧은 획득시간의 2분과 EARL 영상평가 기 준인 10분으로 나누어 OSEM (Ordered subset expectation maximization) 알고리즘에 파라미터 iteration 3, subset 21을 적용하여 매트릭스 크기 200×200으로 재구성하였 으며, 2분 동안 획득한 재구성 영상에 잡음 제거를 위해 Gaussian filter (σ=1)와 Median filter (σ=1)를 적용한 필터 기법과 N2V 딥러닝 기법을 이용한 잡음 제거의 성능 을 비교하였다.

2. Noise2void (N2V) learning training

N2V 학습훈련 기법은 자기 지도 방식으로 입력 영상의 특성을 분석하여 네트워크의 파라미터를 업데이트하고, 업 데이트된 네트워크를 이용하여 잡음을 제거하는 딥러닝 방 법이다[11]. 즉 잡음이 있는 입력 영상과 학습에 필요한 실 제 참값 영상 모두 잡음이 있는 입력 영상으로부터 데이터 를 추출할 수 있다.

f(θ)는 파라미터가 θ인 신경망 네트워크를 의미하고, x_i는 픽셀 좌표 i를 중심으로 위치한 영상의 패치(patch)를 의미하며, B는 블라인드 함수를 의미한다[13]. Fig. 1과 같 이 입력 영상만으로 네트워크 훈련을 하므로 네트워크 업데 이트 시 입력 패치의 픽셀과 같이 추출되는 것을 막기 위해 B는 입력 영상의 패치 x_i의 한가운데에 존재하는 픽셀값을 네트워크에 보여주지 않고, 픽셀 i 주변의 인접한 픽셀값 중 무작위로 선택하여 채우는 방식으로 네트워크의 파라미터 를 업데이트한다. 즉 (식 3)과 같이 신호 s에서 독립적인 잡 음 n을 가정하면 인접한 잡음의 픽셀은 ni에 대한 정보를 네 트워크에 전달하지 않으며, (식 2)에서 신호 s는 통계적으로 독립적이지 않은 가정을 하고 있으므로 네트워크는 여전히 si를 추정할 수 있게 된다. 결국, 블라인드 함수를 이용한 네트워크는 입력 패치와 학습훈련에 필요한 대상의 값을 같 은 입력 영상만으로 비교하여 손실함수 (식 4)가 최소가 되 는 최적의 파라미터를 이용하여 입력 패치의 잡음을 제거할 수 있다.

본 연구에서 N2V 딥러닝은 Java와 Pyhton 기반의 CSB Deep 프로그램인 U-net architecture 구조의[16] CNN denoising 네트워크를 이용하였으며, 네트워크 훈련은 learning rate; 0.004, batch size; 32, epoch; 150, steps per epoch; 200, TensorFlow GPU (1.4 GHz Intel Core i5), CPU (Intel HD Graphics 5000 1536 MB)에서 실행되 었다.

3. 영상평가

본 연구에서는 N2V의 성능을 평가하기 위해 입력 영상, 훈련 영상, 필터 영상을 참고 영상과 비교하여 PSNR (peak signal to noise ratio), NRMSE (normalized root mean square error), SSIM (structural similarity index) 그리 고 방사능 농도의 회복계수인 RC (recovery coefficient)를 분석하여 정량적인 영상평가와 육안으로 영상을 비교하여 정성적인 평가를 수행하였다.

Ⅲ. 결 과

Fig. 1은 N2V 딥러닝 네트워크 업데이트 시 훈련과 검증 의 손실 값을 나타내는 그래프이다. 학습훈련 시 96 epoch 에서 손실 값이 최소인 최적의 파라미터 결과를 보였으며, 최적의 파라미터를 잡음 제거 네트워크에 적용하여 영상의 잡음을 제거하였다.

Table 1은 PSNR, RMSE, SSIM의 영상의 정량적 분석 결과이다. 표와 같이 잡음을 제거하는 방법으로 필터기법과 딥러닝 기법 적용 시 영상의 잡음은 제거되어 최대 신호에 서 잡음 비율을 나타내는 PSNR은 증가하였다. NRMSE 값 또한 두 방법을 적용 후 감소하였다. 즉 필터기법과 딥러닝 기법의 복원 영상이 참고 영상 (10분) 영상과의 픽셀 간의 차이가 적다는 것을 의미한다. SSIM은 영상에 대한 시각 적 화질 차이 및 구조적 유사도를 나타내는 지수로써 밝기 (luminance), 대비 (contrast), 구조 (structure)를 고려 한 유사도를 구하는 방법이다[18]. 0∼1 사이의 값을 가지 며 1에 가까울수록 유사도가 높다는 의미를 나타낸다. 실험 결과, 필터기법과 딥러닝 기법을 적용한 영상의 PSNR, NRMSE 결과와 같이 잡음이 개선된 영상에서 유사도 지수 가 증가하였다. 두 방법의 영상평가 지표를 비교 결과 필터 기법보다는 N2V 딥러닝 기법을 적용한 결괏값이 더 우수한 결과를 보였다.

Fig. 3은 영상의 육안적 비교를 통한 정성적 분석 결과이 다. 통계적 잡음이 적은 10분 영상과 비교하여 모든 영상에 서 팬텀의 구와 배후방사능 영역에 영상의 차이가 관찰되었 지만, 원본 영상(2분)보다는 필터기법과 N2V 딥러닝 기법 을 적용하였을 때 배후 방사능 영역에서 차이가 감소하였 다. 하지만 sphere 영역에서 필터기법은 차이가 증가하였으 며, N2V 기법은 비슷한 양상을 보였다.

Fig. 3은 방사능 농도의 회복계수인 RC를 나타낸 그래프 이다. 10분 획득한 PET 영상은 6개의 구에 대하여 European Association of Nuclear Medicine Research Ltd. (EARL) 기준 [17]의 방사능 농도의 회복계수를 충족하였으며, 2분 획득한 PET 영상 또한 가장 큰 구를 제외하고, 방사능 농도 회복계수가 EARL 기준에 적합하였다. 하지만 잡음 제거를 위해 필터를 적용한 PET 영상에서 RC는 구의 크기가 작아 질수록 EARL 기준보다 과소평가 되었다. N2V 딥러닝 기법 을 이용 시 6개의 구에 대하여 RC의 값은 EARL 기준에 만 족하였다.

Ⅳ. 고 찰

N2V는 딥러닝 훈련을 기반으로 한 영상잡음 제거 기법이 며, 훈련을 위한 실제 참값 영상 또는 추가적인 잡음 영상이 필요 없이 잡음이 있는 입력 영상만으로 네트워크 훈련이 가능한 자기 지도 학습 영상복원 기법이다. 본 연구의 목적 은 N2V를 PET 영상에 이용하여 잡음개선의 성능을 평가하 고자 하였다. PET 영상은 획득시간에 따라 통계적 잡음의 차이가 발생한다. 그러므로 본 연구의 실험에서는 2분으로 획득한 PET 영상에 N2V 딥러닝을 적용하였으며, 성능 평 가를 위해서 EARL 영상평가 기준으로 획득시간이 10분인 PET 영상을 참고 영상으로 비교하였다. 또한, 영상잡음 제 거에 주로 이용되는 방법인 필터기법과도 비교 평가하였다. 실험결과에서 2분 동안 획득한 PET 영상에 N2V 딥러닝과 필터를 적용한 영상의 정량적 분석 결과, 영상의 잡음은 모 두 개선되었으며, 육안적 비교 평가에서도 N2V 딥러닝 기 법과 필터기법을 적용한 영상은 2분 영상보다 영상의 화질 이 우수하였다. 하지만 PSNR, RMSE, SSIM 그리고 RC의 결과는 N2V 딥러닝 방법이 필터 방법보다 우수한 결과를 보였다. 특히 RC 평가에서 필터를 이용한 영상의 방사능 농 도는 EARL 기준보다 과소평가 되었으며 N2V는 EARL 기 준을 충족한 방사능 회복계수를 보였다. 가우시안 필터와 중앙값 필터와 같이 영상잡음 제거에 주로 이용되는 스무딩 필터(smoothing filter)는 잡음은 개선되지만, 고주파수 영 역의 성분들이 열화되어 영상의 해상력은 저하된다. 즉 영 상의 해상력 저하는 부분용적효과(partial volume effect) 가 증가하게 되어 방사능 농도가 과소평가 된다[20]. 본 연 구의 결과에서 작은 구에서 그 영향은 두드러지게 나타났으 며, 또한, 참고영상과 필터를 이용한 복원영상의 차이에서 도 구 영역에서의 차이가 컸다. 다양한 딥러닝을 이용한 영 상의 잡음 제거 방법은 저선량 PET 영상에서 잡음개선으로 인한 SNR 증가와 오차가 적은 표준섭취계수(standardized uptake value)의 결과가 다른 연구에서도 입증되었다[21, 22]. 또한, 다른 선행연구에서도 치매 환자의 짧은 시간 획 득한 PET 영상에 딥러닝을 활용하여 영상의 질 저하를 개선 하였다[23]. 본 연구의 N2V 방법도 비슷한 실험결과를 보 였으며, 소아 또는 치매환자에게 영상의 획득시간을 줄여 영상의 질 저하를 개선할 수 있다. 또한, 영상의 획득시간 이외에 저선량에서 발생하는 영상의 잡음에도 적용할 수 있 을 것이며, 그로 인하여 환자에게 주어지는 방사선량을 줄 일 수 있을 것으로 기대된다. 하지만 이 연구에서 고려해야 할 점은 N2V 딥러닝은 블라인드 함수 네트워크를 이용하여 실제 참값 영상 없이 입력 영상만을 이용하여 네트워크를 업데이트하므로 기존의 딥러닝 네트워크와 비교하였을 때 낮은 성능을 보여줄 수 있다[13]. 딥러닝에서 데이터 정보가 적으면 과적합(over fitting) 또는 과소 적합(under fitting) 의 결과를 도출할 수 있기 때문이다[24]. 그리고 N2V는 학 습 모델의 성능을 직접 검증할 수 없어 본 연구에서는 10분 획득한 PET 영상을 참고 영상으로 선택하여 간접적으로 N2V 모델의 성능을 평가하였다. 하지만 의료영상 분야에서 딥러닝을 이용한 영상의 잡음 제거 시 훈련에 필요한 잡음 이 없는 깨끗한 영상 및 추가적인 잡음 영상을 획득하기가 어려울 때도 있다. 이런 문제에 N2V 딥러닝 방법은 영상의 잡음개선에 효율적일 것으로 사료 된다. 추가로 본 연구는 팬텀을 기반으로 한 실험이므로 임상 영상에도 적용하여 N2V 모델의 성능에 대하여 추가 검증이 필요할 것으로 판 단된다.

Ⅴ. 결 론

팬텀을 이용한 짧은 시간 영상을 획득한 잡음이 있는 PET영상에 잡음 영상만으로도 자기 지도 학습훈련이 가능 한 N2V 딥러닝 방법을 이용하여 방사능농도의 과소평가없 이 영상의 잡음 제거 효과를 보였다.