Journal Search Engine

ISSN : 2288-3509(Print)
ISSN : 2384-1168(Online)

Journal of Radiological Science and Technology Vol.46 No.4 pp.315-323
DOI : https://doi.org/10.17946/JRST.2023.46.4.315

Enhancing CT Image Quality Using Conditional Generative Adversarial Networks for Applying Post-mortem Computed Tomography in Forensic Pathology: A Phantom Study

Yebin Yoon¹⁾, Jinhaeng Heo²⁾, Yeji Kim¹⁾, Hyejin Jo¹⁾, Yongsu Yoon¹⁾

¹⁾Dept. of Multidisciplinary Radiological Science, The Graduate School of Dongseo University
²⁾Forensic Medicine Div., Busan Institute, National Forensic Service

This research was conducted with the support of the 2021 Academic Research Grant from Dongseo University. (DSU-20210010)

Corresponding author: Yongsu Yoon, Dept. of Multidisciplinary Radiological Science, The Graduate School of Dongseo University, 47 Jurye-ro, Sasang-gu, Busan, 47011, Republic of Korea / Tel: +82-51-320-4244 / E-mail: ysyoon@office.dongseo.ac.kr

Received 25/07/2023 Review 07/08/2023 Accepted 16/08/2023

Abstract

Post-mortem computed tomography (PMCT) is commonly employed in the field of forensic pathology. PMCT was mainly performed using a whole-body scan with a wide field of view (FOV), which lead to a decrease in spatial resolution due to the increased pixel size. This study aims to evaluate the potential for developing a super-resolution model based on conditional generative adversarial networks (CGAN) to enhance the image quality of CT. 1761 low-resolution images were obtained using a whole-body scan with a wide FOV of the head phantom, and 341 high-resolution images were obtained using the appropriate FOV for the head phantom. Of the 150 paired images in the total dataset, which were divided into training set (96 paired images) and validation set (54 paired images). Data augmentation was perform to improve the effectiveness of training by implementing rotations and flips. To evaluate the performance of the proposed model, we used the Peak Signal-to-Noise Ratio (PSNR), Structural Similarity Index Measure (SSIM) and Deep Image Structure and Texture Similarity (DISTS). Obtained the PSNR, SSIM, and DISTS values of the entire image and the Medial orbital wall, the zygomatic arch, and the temporal bone, where fractures often occur during head trauma. The proposed method demonstrated improvements in values of PSNR by 13.14%, SSIM by 13.10% and DISTS by 45.45% when compared to low-resolution images. The image quality of the three areas where fractures commonly occur during head trauma has also improved compared to low-resolution images.

Key Words : Forensic pathology , Post-mortem computed tomography , Deep learning , Conditional generative adversarial networks , Resolution

사후전산화단층촬영의 법의병리학 분야 활용을 위한 조건부 적대적 생성 신경망을 이용한 CT 영상의 해상도 개선: 팬텀 연구

윤예빈¹⁾, 허진행²⁾, 김예지¹⁾, 조혜진¹⁾, 윤용수¹⁾

¹⁾동서대학교 일반대학원 융합방사선학과
²⁾국립과학수사연구원 부산과학수사연구소 법의학과

초록

키워드 : 법의병리학 , 사후전산화단층촬영 , 심층학습 , 조건부 적대적 생성 신경망 , 해상도

This article has been cited by 0 article in crossref

Cited-By

Funding:

Ⅰ. 서 론

컴퓨터단층촬영(computed tomography, CT)은 환자의 해부학적 구조를 상세하게 표현할 수 있으며, 임상 의료 영 역에서 필수적인 역할을 하고 있다[1,2]. 1983년 사인 규명 을 위해 비-조영 사후 CT 영상이 처음 도입되었으며[3], 현 재 법의병리학 분야에서 사후전산화단층촬영(post-mortem computed tomography, PMCT)는 전 세계적으로 널리 사 용되고 있다[4-6]. 특히, 비-조영 PMCT 영상은 뼈와 공기 를 포함하는 해부학적 구조의 표현에서 큰 잠재력을 보여주 며[7], 사망의 원인과 관련된 유용한 정보를 비-침습적으로 획득할 수 있는 장점이 있다[8]. 또한, 부검 직후 화장 등으 로 인해 사체가 소실되어도 사체 정보를 반영구적으로 보존 하는 수단으로써의 잠재적 활용 가능성을 가지고 있다.

PMCT는 사체의 전신을 시야 범위(field of view, FOV) 에 포함하는 전신 촬영을 기본 검사로 수행하는 것이 추천 된다[8]. 하지만, 전신 촬영의 넓은 FOV는 영상의 화소 (pixel) 크기를 증가시키며, 최종적으로 영상의 공간해상도 (spatial resolution)가 저하되게 된다. 따라서, 기본 검사 로 전신 촬영 이후, 고화질의 영상을 획득하기 위해 머리/목 또는 흉부/복부를 작은 FOV를 이용하여 추가 검사를 수행 하는 것이 권고된다[10]. 교살과 같은 사례에서는 목뿔뼈 (hyoid bone) 또는 후두(larynx) 골절을 확인하기 위한 사후 CT 영상 기반 3차원 볼륨 렌더링(volume rendering, VR) 기술이 유망한 결과를 보여준다[11]. 이처럼 법의병리학 분 야에서 CT를 이용한 다양한 영상 기술 적용되면서[12-14], 고해상도의 CT 영상의 필요성 또한 요구되고 있다.

하지만, 사체를 대상으로 촬영하는 CT는 일반적으로 높 은 선량 및 얇은 절편 두께로 촬영이 시행되기 때문에, 모든 검사 사례에서 기본 검사인 전신 촬영 이후 고화질의 영상 을 얻기 위한 별도의 추가 검사를 수행하기에는 CT 튜브의 열용량, 시간적·인적 자원의 한계가 있다. 따라서, 본 연구 에서는 조건부 적대적 생성 신경망(conditional generative adversarial networks, CGAN)을 기반으로 한 초해상도 모 델을 구축하고, CT 전신 촬영 이후 별도의 추가 검사 없이 개선된 화질의 부분 CT 영상을 획득하고자 한다.

Ⅱ. 대상 및 방법

1. 재료

본 연구에서는 160채널 CT장치(Aquilion prime SP, canon medical systems, Japan)와 머리 팬텀(PBU-60, Kyoto Kagaku, Japan)을 사용하였다 (Fig. 1). Table 1의 촬영 조 건을 사용하여 전신을 포함하는 넓은 FOV 조건으로 1,761 장, 머리 및 목 부위 촬영에 적합한 좁은 FOV 조건으로 341 장의 영상을 획득하였다. 학습에 사용된 영상은 넓은 FOV 와 좁은 FOV 각 150장씩 총 300장이며, 6:4의 비율로 훈련 용과 검증용 데이터 세트를 구축하였다. 훈련용 데이터 세 트의 경우 Fig. 2와 같이 회전(±0。, 45。, 90。, 135。) 및 반 전 기능을 이용한 데이터 증강(data augmentation)을 통해 최종적으로 2,592장의 머리 팬텀 영상을 사용하였다.

2. 조건부 적대적 생성 신경망

인공지능이란 인간의 지적 행위를 모방하도록 설계된 기 계로 정의되며, 심층학습(deep learning) 기법을 통해 학습 하는 것이 보편적이다. 최근 심층학습을 통한 인공지능을 적용하는 분야가 늘어나고 있으며, 의료영상 분야에서도 활 발히 연구가 진행되고 있다[15]. 본 연구에서 제안된 CGAN 은 인공지능의 모델 중 하나로 심층학습을 통해 새로운 영 상을 만들어내는 생성자(generator)와 생성된 영상의 진위 를 판단하는 판별자(discriminator)의 상호 적대적인 학습 이 이루어지며, 생성자와 판별자에 조건을 부여하여 생성된 영상과 학습에 이용한 정답 영상의 오차를 줄여나가는 모델 이다[16]. 2019년 Zijlstra는 CGAN을 사용하여 자기공명영 상으로부터 CT영상을 생성하였고 [17], 2018년 Wang은 이 비인후과 영역의 CT 영상에서 인공와우 등의 체내 금속으 로 인해 발생하는 금속 아티팩트를 감소시켰다[18]. 이처럼 CGAN의 출력은 생성자와 판별자에 어떤 조건을 부여하는 가에 따라 다양한 형태의 결과를 얻을 수 있어 기존의 많은 연구에서 활용되어왔다.

본 연구에서는 CGAN 모델의 학습 조건으로 좁은 FOV로 촬영한 고화질의 머리 촬영 영상을 조건으로 부여함으로써 넓은 FOV로 촬영한 저화질의 전신 촬영 영상의 화질을 개 선하고자 하였으며, 학습 조건으로는 300회의 epoch, 10 batch 크기를 설정하였다. 학습에 사용된 워크스테이션의 사양은 다음과 같다; CPUs-AMD Ryzen^TM Threadripper ^TM PRO5955WX processor (4.00 GHz up to 4.50 GHz), RAM-64 GB RDIMM DDR4 3200MHz ECC, GPU-NVIDIA RTX™A6000 48 GB GDDR6.

CGAN의 학습 과정은 Fig. 3과 같다. 제안된 모델의 생성 자는 전신 촬영의 넓은 FOV 머리 팬텀 영상을 입력받아, 좁 은 FOV로 설정된 고해상도 머리 팬텀 영상을 생성하도록 학습되었다. 판별자는 생성자가 생성해낸 영상의 진위를 판 별해내는 역할을 하며, 판별자가 영상을 판별하는 기준은 식(1)과 같다.

\begin{matrix} min_{G} max_{D} V (D, G) = E_{x \sim p_{d a t a} (x)} [l o g D (x | c)] \\ + E_{z \sim p_{z} (x)} [l o g (1 - D (G (z | c)))] \end{matrix}

(1)

P_data는 실제 영상 데이터의 확률 분포, 확률 밀도 함수, P_z는 노이즈 입력값의 확률 분포, 확률 밀도 함수를 의미한 다. D(x)는 입력된 실제 영상 데이터 x에 대한 판별자에서 출력된 값, G(z)는 임의의 노이즈 z를 입력하여 출력된 값으 로, 입력값에 조건(condition, c)을 부여하여 출력된 값을 D(x|c), G(z|c)라고 한다. 이때, 확률 분포P_z를 입력받아 생성자가 생성한 G의 확률 분포를 P_g라고 한다. CGAN 은 G에 해당하는 $E_{z \sim p_{z} (x)} [l o g (1 - D (G (z | c)))]$ 의 값이 최소(min)가 되도록, D에 해당하는 $E_{x \sim p_{d a t a} (x)} [l o g D (x | c)]$ + $E_{z \sim p_{z} (x)} [l o g (1 - D (G (z | c)))]$ 이 최대(max)가 되도록 학 습된다. 생성자의 확률 분포P_g가 실제 데이터의 확률 분포 P_data의 분포와 차이가 클 경우 G의 값이 증가하고 D의 값이 감소하여 식(1)의 값은 0에 근접하게 되고 식(1)의 값이 0에 근접하여 판별자가 영상을 생성자가 생성한 영상이라 판단 하게 된다. G의 값이 증가하고 D의 값이 감소하면 실제 데 이터의 확률 분포P_data와 생성자가 생성한 G의 확률 분포P_g 가 일치하게 된다. 이때, 판별자의 출력값 D(x|c)은 1/2에 가까워지고 식(1)의 값이 1에 근접하게 되어 최종적으로 판 별자가 실제 영상과 생성된 영상을 구분하지 못하게 되어 생성자가 만들어낸 영상을 실제 영상이라 판단한다[16].

3. 성능 평가

본 연구에서 제안한 모델로 획득한 영상의 화질 평가는 최 고 신호 대 잡음 비(peak signal to noise ratio, PSNR)와 구조적 유사 지수(structural similarity index measure, SSIM), 심층 이미지 구조와 텍스쳐 유사성(deep image structure and texture similarity, DISTS)을 사용하였다.

모든 결과 영상의 화질을 전체적으로 평가하였으며, 평가 의 정확성을 높이기 위해 뼈의 두께가 얇고 외상에 의해 골 절될 가능성이 큰 1)안와 내벽(medial orbital wall), 2)광 대뼈 궁(zygomatic arch), 3)관자뼈(temporal bone)에 해 당하는 특정 부위를 구역화하여 평가 부위로 선정하였다. 안와 내벽의 골절은 외상에 의한 충격으로 안와 내압이 급 격히 증가하여 발생하는 골절로[19], 교통사고와 폭력 사고 의 증가, 또는 스포츠 등에 의한 안와골절이 점차 증가하는 추세이다[20]. 또한 광대뼈와 위턱뼈의 복합골절은 흔하게 나타나는 안면 골절 중 하나로, 광대뼈 궁 골절은 전체 안면 골절의 약 10%를 차지한다[21]. 관자뼈의 경우 머리의 좌우 외측에 위치하여, 내부의 추체부(petrous portion)와 함께 머리의 외상 발생 시 쉽게 손상을 입을 수 있는 부위이다 [22]. 이러한 머리 부위의 외상 시 안면 골절이 흔하게 발생 하는 세 부위를 중점적으로 평가하고자 하였다.

각 영상에서 안와 내벽과 광대뼈 궁, 관자뼈에 해당하는 영역을 30×30으로 잘라내어 특정 부위에 해당하는 평가값 을 산출하였다.

1) PSNR

PSNR은 생성된 영상의 화질 손실 정도를 나타내는 지표 로 식(3)을 통해 산출되며, 값이 클수록 화질의 손실이 적음 을 의미한다.

M S E = \frac{\sum_{M, N} {[I_{1} (m, n) - I_{2} (m, n)]}^{2}}{M \times N}

(2)

P S N R = 10 {log}_{10} (\frac{M A X_{1}^{2}}{M S E})

(3)

MAX는 화소의 최댓값, MSE는 평균 제곱 오차(mean squared error)로 각 화소값에 대한 두 영상 간의 차이로 산출식은 식(2)와 같다. M과 N은 영상의 가로(width)와 세 로(height)의 크기를 의미하고 I(m, n)은 (m, n)좌표의 화 소값을 의미한다. 이때, MSE가 0인 무손실 영상, 즉, 동일 한 두 영상의 손실 정도를 비교할 경우 PSNR은 정의되지 않는다[23].

2) SSIM

SSIM은 휘도(luminance, l), 대조도(contrast, c), 구조 적 유사도(structural, s)의 3가지 측면에서 두 영상의 품질 을 평가하는 지표이며, l, c, s는 각각 식(4), 식(5), 식(6) 과 같이 나타낼 수 있다. 각 지표는 0에서 1 사이의 값을 가진다.

l (x, y) = \frac{2 μ_{x} μ_{y} + C_{1}}{μ_{x}^{2} + μ_{y}^{2} + C_{1}}

(4)

c (x, y) = \frac{2 σ_{x} σ_{y} + C_{2}}{σ_{x}^{2} + σ_{y}^{2} + C_{2}}

(5)

s (x, y) = \frac{σ_{x y} + C_{3}}{σ_{x} σ_{y} + C_{3}}

(6)

여기서 C₁1), C₂2), C₃3)는 상수이며, μ와 σ는 평균과 표 준편차를 뜻한다.

SSIM은 식(7)을 통해 산출되며, 0에서 1 사이의 값으로 나타난다. SSIM이 1에 근접할수록 두 영상의 유사도가 높 음을 의미한다[23].

S S I M (x, y) = \frac{(2 μ_{x} μ_{y} + C_{1}) (σ_{x y} + C_{2})}{(μ_{x}^{2} + μ_{y}^{2} + C_{1}) (σ_{x}^{2} + σ_{y}^{2} + C_{2})}

(7)

3) DISTS

DISTS는 SSIM과 유사하지만, 사람의 시각으로 구별하기 어려운 텍스쳐의 배치 변화까지 고려하는 SSIM과 달리, 구 조적 변화의 민감도를 유지하며 텍스쳐의 배치 변화를 허용 하여 사람의 시각과 유사하게 평가할 수 있는 지표이다. 텍 스쳐의 유사도와 구조적 유사도는 식(8), 식(9)와 같이 나타 낼 수 있다.

l ({\tilde{x}}_{j}^{(i)}, {\tilde{y}}_{j}^{(i)}) = \frac{2 μ_{{\tilde{x}}_{j}}^{(i)} μ_{{\tilde{y}}_{j}}^{(i)} + c_{1}}{{(μ_{{\tilde{x}}_{j}}^{(i)})}^{2} + {(μ_{{\tilde{y}}_{j}}^{(i)})}^{2} + c_{1}}

(8)

s ({\tilde{x}}_{j}^{(i)}, {\tilde{y}}_{j}^{(i)}) = \frac{2 σ_{{\tilde{x}}_{j} {\tilde{y}}_{j}}^{(i)} + c_{2}}{{(σ_{{\tilde{x}}_{j}}^{(i)})}^{2} + {(σ_{{\tilde{y}}_{j}}^{(i)})}^{2} + c_{2}}

(9)

여기서 $μ_{{\tilde{x}}_{j}}^{(i)}, μ_{{\tilde{y}}_{j}}^{(i)}, {(σ_{{\tilde{x}}_{j}}^{(i)})}^{2}, {(σ_{{\tilde{y}}_{j}}^{(i)})}^{2}$ 는 ${\tilde{x}}_{j}^{(i)}, {\tilde{y}}_{j}^{(i)}$ 의 전체 평균 및 분산을 의미하며, $σ_{{\tilde{x}}_{j} {\tilde{y}}_{j}}^{(i)}$ 는 ${\tilde{x}}_{j}^{(i)}, {\tilde{y}}_{j}^{(i)}$ 사이의 공분산을 의미 한다. ${\tilde{x}}_{j}^{(i)}$ 는 실제 텍스쳐 영상 데이터의 확률 분포를 의미하 며, ${\tilde{y}}_{j}^{(i)}$ 는 임의의 노이즈에서 경사 하강 최적화(gradient descent optimization)로 생성된 텍스쳐 영상 데이터의 확 률 분포를 의미한다. 식에서 분모가 0이 되는 것을 방지하 기 위해 양의 상수 c₁ 과 c₂를 포함하였다[24].

D I S T S (x, y; α, β) = 1 - \sum_{i = 0}^{m} \sum_{j = 1}^{n_{i}} (α_{i j} l ({\tilde{x}}_{j}^{(i)}, {\tilde{y}}_{j}^{(i)}) + β_{i j} s ({\tilde{x}}_{j}^{(i)}, {\tilde{y}}_{j}^{(i)}))

(10)

α_ij와 β_ij는 영상의 품질 정도에 관한 양의 가중치, 텍스 쳐의 변화에 관한 양의 가중치로 $\sum_{i = 0}^{m} \sum_{j = 0}^{n_{i}} (α_{i j} + β_{i j}) = 1$ 의 값 을 가진다. m은 컨볼루션 레이어의 수, n_i은 i 번째 컨볼루 션 레이어의 특정 맵 수를 의미한다. DISTS는 사전에 훈련 된 VGG 알고리즘으로 작동하며, 식(10)을 통해 산출된다. DISTS는 산출된 값이 작을수록 두 영상의 유사도가 높음을 의미한다[24].

Ⅲ. 결 과

총 1,296장의 데이터 세트를 학습시킨 CGAN에 검증용 데이터 세트 54장을 사용하여 획득한 영상의 화질을 평가하 였다. 고해상도의 머리 촬영 영상을 기준으로 CGAN을 통해 생성된 영상과 전신 촬영 영상의 화질을 평가하였다. Fig. 4 와 Table 2는 식(3)과 식(7), 식(10)을 통해 두 영상의 PSNR 및 SSIM, DISTS를 산출하여 비교한 것이다. 전신 촬영 영 상의 PSNR과 SSIM, DISTS는 33.42, 0.84, 0.11이었고 CGAN이 생성한 영상의 PSNR과 SSIM, DISTS는 37.81, 0.95, 0.06이었다.

Table 3과 Fig. 5는 (a)안와 내벽과 (b)광대뼈 궁, (c)관 자뼈의 특정 영역의 PSNR과 SSIM, DISTS를 평가한 결과 이다. 안와 내벽의 평가 결과는 PSNR과 SSIM이 33.20, 0.98로 증가하였으며, DISTS가 0.07로 감소하였다. 광대 뼈 궁의 평가 결과는 PSNR과 SSIM이 33.75, 0.92로 증가, DISTS가 0.05로 감소하였다. 관자뼈의 평가 결과는 PSNR 과 SSIM이 32.95, 0.91로 증가, DISTS가 0.08로 감소하였 음을 확인하였다.

Ⅳ. 고 찰

본 연구에서는 저화질 영상의 화질을 개선하는 CGAN 기 반 초해상도 모델을 구축하여 전신을 포함하는 넓은 FOV로 촬영된 CT 영상의 화질을 개선함으로써 법의병리학 분야에 서 영상의 화질에 의한 불편 사항을 감소시킬 가능성을 평 가하고자 하였다.

식(3)과 식(7), 식(10)을 통해 생성된 영상의 PSNR과 SSIM, DISTS를 산출하여 화질의 개선 정도를 평가한 결과, 기존의 저화질 영상과 비교하였을 때 CGAN이 생성한 영상 의 PSNR이 33.42에서 37.81로 13.14%, SSIM이 0.84에서 0.95로 13.10% 향상되었고, DISTS가 0.11에서 0.06으로 45.45% 감소하였다. PSNR의 증가는 기존 영상보다 영상 화질의 손실이 감소하였음을 의미하며, SSIM의 값이 1에 가까워진 것은 기존 영상보다 CGAN에서 생성한 영상이 목 표한 화질의 영상과 유사도가 더 크다는 것을 의미한다. DISTS의 감소는 사람의 시각으로 인지하였을 때 기존 영상 보다 CGAN이 생성한 영상이 고화질 영상과 유사함을 의미 한다. 따라서, PSNR과 SSIM의 증가와 DISTS의 감소로 whole body scan 영상에 비해 CT 영상의 화질이 개선되었 음을 확인할 수 있다. 더불어, 외상에 의한 충격으로 안와 내압이 급격히 증가하여 골절이 쉽게 발생하는 안와 내벽 [17]과 안면 골절의 약 10%를 차지하는 광대뼈 궁[19], 머리 의 좌우 외측에 위치하여 머리 외상 시 쉽게 손상을 입을 수 있는 관자뼈[20]에 대한 세부 평가 결과에서도 PSNR과 SSIM의 값이 기존의 whole body scan 영상보다 증가하였 고, DISTS 값 또한 감소하는 경향을 나타내는 것을 통해 영 상 전체의 화질뿐만 아니라 세부 구조의 화질 역시 유의미 하게 개선되었음을 확인하였다. 이러한 결과는 본 연구에서 제안한 방법이 법의병리학 분야에서 세부 구조를 확인하기 위한 추가 검사에 소요되는 시간적・인적 자원의 한계를 극 복하고, 사인 추정 및 외상 유무 등 부가적인 정보를 획득하 는데 있어서의 사후 CT 영상의 활용도 향상에 기여할 수 있 는 가능성을 시사한다.

본 연구에서는 머리 팬텀만을 이용하여 연부조직 촬영 조 건으로 획득한 영상을 모델 학습에 이용하였으나, 추후 각 신체 부위 팬텀에 대한 다양한 촬영 조건의 영상과 더불어 팬텀이 아닌 실제 사후 CT 영상을 추가 적용시키는 것을 통 해 제안한 방법의 범용성을 향상시킨다면, 법의병리학 분야 에서의 CT 영상의 활용성을 더욱 높일 수 있을 것이라 기대 한다.

PMCT는 사인 추정 외에도 다양한 목적으로 활용되고 있 다. 성인이 되며 주민등록번호와 지문을 등록하는 한국과는 달리 해외의 경우 지문 및 DNA 등의 비교 표본이 없는 변사 체의 신원확인을 위해 사후 CT를 종종 활용하고 있다. 일본 의 경우 사후 CT를 통해 2011년 동일본 대지진 및 쓰나미에 의한 대형 재난에 의한 신원 불명 사체의 신원을 파악하고 자 PMCT를 실시한다[25]. 대형 재난에 의한 사체의 경우 이미 부패가 진행된 이후에 발견되는 경우가 있어 시간의 경과와 외부 요인에 훼손될 가능성이 적은 전두동, 갈비뼈 등의 골격 일부를 통해 성별과 나이를 추정하는 연구가 활 발히 이루어지고 있다[26-30]. 이러한 개인 식별에 관한 연 구에 본 연구에서 제안한 모델을 접목함으로써 전신을 한 번에 촬영하여 획득한 영상을 필요한 부위의 화질을 개선하 여 특정 골격을 통해 사체의 신원을 파악할 수 있는 새로운 모델을 개발할 수 있을 것이다.

Ⅴ. 결 론

법의병리학 분야에서 일반적으로 사용되는 전신 CT 검사 의 경우 넓은 FOV로 인해 공간해상도가 저하되는 단점이 있다. 이에 본 연구는 CGAN을 이용하여 머리 CT 영상의 화 질을 개선하고자 하였다. 영상의 화질은 검증용 데이터 세 트 54장으로 획득한 영상과 더불어 외상에 취약한 안와 내 벽, 광대뼈 궁, 관자뼈 부위를 PSNR, SSIM, DISTS을 사용 하여 평가하였다. CGAN을 통해 생성된 머리 CT 영상은 기 존의 전신 영상보다 화질이 개선되었음을 확인할 수 있었 다. 따라서, 추후 실제 PMCT 영상을 기반으로 연구가 적극 적으로 이루어진다면, 전신 CT 촬영 이후 별도의 추가 검사 없이 개선된 화질의 부분 CT 영상 획득에 기여할 수 있을 거라 여겨진다.

Figure

Fig. 1.

Head phantom (PBU-60, Kyoto Kagaku, Japan)

Fig. 2.

Data augmentation (rotate & flip)

Fig. 3.

CGAN workflow for resolution enhancement of WB scan¹⁾ image

1) WB scan – whole body scan

Fig. 4.

An example of enhancing CT image resolution using CGAN (left: whole-body scan, center: head scan, right: generated image from CGAN). The head scan image was compared with both (1) the whole-body scan and (2) the generated image, respectively.

Fig. 5.

Comparison of results for three different regions with thin bone thickness and high susceptibility to fractures.(a) Medial orbital wall, (b) Zygomatic arch, (c) Temporal bone.

Table

Table 1.

Scan parameter

Table 2.

PSNR, SSIM and DISTS values of WB scan image and Head scan image

Table 3.

PSNR, SSIM and DISTS values of medial orbital wall, zygomatic arch and temporal bone

Reference

Chi J, Sun Z, Wang H, Lyu P, Yu X, Wu C. CT image super-resolution reconstruction based on global hybrid attention. Computers in Biology and Medicine. 2022;150:106112.
Lee MK, Lim CH. Survey of CT practice and collective effective dose estimation. Journal of Radiological Science and Technology. 2010;33(3):231-7.
Krantz P, HoltHs S. Postmortem computed tomography in a diving fatality. Journal of Computer Assisted Tomography. 1983;7(1):132-4.
Morishita J, Ueda Y. New solutions for automated image recognition and identification: Challenges to radiologic technology and forensic pathology. Radiological Physics and Technology. 2021;14:123-33.
Heo JH, Yoon Y, Seo IS, Im SB, San Ko Y, Lee S, Jang SJ. The significance of evaluating sphenoid sinus fluid by postmortem computed tomography in cases of drowning. Journal of Forensic and Legal Medicine. 2023;102551.
Kawazoe Y, Morishita J, Matsunobu Y, Okumura M, Shin S, Usumoto Y, Ikeda N. A simple method for semi-automatic readjustment for positioning in post-mortem head computed tomography imaging. Journal of Forensic Radiology and Imaging. 2019; 16:57-64.
Ross SG, Bolliger SA, Ampanozi G, Oesterhelweg L, Thali MJ, Flach PM. Postmortem CT angiography: Capabilities and limitations in traumatic and natural causes of death. Radiographics. 2014;34(3): 830-46.
Grabherr S, Egger C, Vilarino R, Campana L, Jotterand M, Dedouit F. Modern post-mortem imaging: An update on recent developments. Forensic Sciences Research. 2017;2(2):52-64.
Gascho D, Thali MJ, Niemann T. Post-mortem computed tomography: Technical principles and recommended parameter settings for high-resolution imaging. Medicine, Science and the Law. 2018;58(1): 70-82.
Flach PM, Gascho D, Schweitzer W, Ruder TD, Berger N, Ross SG, et al. Imaging in forensic radiology: An illustrated guide for postmortem computed tomography technique and protocols. Forensic Science, Medicine, and Pathology. 2014;10:583-606.
Kempter M, Ross S, Spendlove D, Flach PM, Preiss U, Thali MJ, Bolliger SA. Post-mortem imaging of laryngohyoid fractures in strangulation incidents: First results. Legal Medicine. 2009;11(6):267-71.
Grassberger M, Gehl A, PHschel K, Turk EE. 3D reconstruction of emergency cranial computed tomography scans as a tool in clinical forensic radiology after survived blunt head trauma-report of two cases. Forensic Science International. 2011; 207(1-3):e19-23.
Sarment DP, Christensen AM. The use of cone beam computed tomography in forensic radiology. Journal of Forensic Radiology and Imaging. 2014;2(4): 173-81.
Thali MJ, Yen K, Schweitzer W, Vock P, Boesch C, Ozdoba C, et al. Virtopsy, a new imaging horizon in forensic pathology: Virtual autopsy by postmortem multislice computed tomography (MSCT) and magnetic resonance imaging (MRI)-A feasibility study. Journal of Forensic Sciences. 2003; 48(2):386-403.
Hong, JY, Park SH, Jung YJ. Artificial intelligence based medical imaging: An overview. Journal of Radiological Science and Technology. 2020;43(3): 195-208.
Mirza M, Osindero S. Conditional generative adversarial nets. arXiv preprint arXiv; 2014:1411-784.
Zijlstra F, Wilemsen K, Florkow MC, Sakkers RJ, Weinans HH, Van der Wal BCH, et al. CT synthesis from MR images for orthopedic applications in the lower arm using a conditional generative adversarial network. Medical Imaging 2019: Image Processing. 2019;10949:387-93.
Wang J, Noble JH, Dawant BM. Metal artifact reduction for the segmentation of the intra cochlear anatomy in CT images of the ear with 3D-conditional GANs. Medical Imaging Analysis. 2019;58: 101553.
Shin JH, Lee MJ, Park SS, Jeong WJ, You YH. Severe traumatic intraocular injuries related to blowout fractures. Journal of the Korean Society of Traumatology. 2009;22(1):97-102.
Park SH, Rah SH, KIM YH. Clinical evaluation of the associated ocular injuries of orbital wall fracture patients. Journal of the Korean Ophthalmological Society. 2002:1474-81.
Kim J, Hwang W. Delayed reduction of zygomatic arch fracture: Effectiveness of the Rowe Zygoma Elevator. Journal of Craniofacial Surgery. 2018; 29(7):e639-40.
Lee JH, Paik JY. Diagnosis and treatment of temporal bone trauma. Korean Journal of Otorhinolaryngology Head and Neck Surgery. 2014;57(7):433-41.
Hore A, Ziou D. Image quality metrics: PSNR vs. SSIM. In 2010 20th International Conference on Pattern Recognition, IEEE; 2010:2366-9.
Ding K, Ma K, Wang S, Simoncelli EP. Image quality assessment: Unifying structure and texture similarity. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2020;44(5):2567-81.
Aoki T, Ito K, Aoyama S, Kosuge E. Disaster victim identification using dental records-Experience of the Great East Japan Earthquake. In 2013 IEEE Region 10 Humanitarian Technology Conference, IEEE; 2013:57-62.
Pfaeffli M, Vock P, Dirnhofer R, Braun M, Bolliger SA, Thali MJ. Post-mortem radiological CT identification based on classical ante-mortem X-ray examinations. Forensic Science International. 2007; 171(2-3):111-7.
Quatrehomme G, Fronty P, Sapanet M, GrHvin G, Bailet P, Ollier A. Identification by frontal sinus pattern in forensic anthropology. Forensic Science International. 1996;83(2):147-53.
Tsubaki S, Morishita J, Usumoto Y, Sakaguchi K, Matsunobu Y, Kawazoe Y, et al. Sex determination based on a thoracic vertebra and ribs evaluation using clinical chest radiography. Legal Medicine. 2017;27:19-24.
Kano T, Oritani S, Michiue T, Ishikawa T, Hishmat AM, Sogawa N, et al. Postmortem CT morphometry with a proposal of novel parameters for sex discrimination of the mandible using Japanese adult data. Legal Medicine. 2015;17(3):167-71.
Akhlaghi M, Bakhtavar K, Moarefdoost J, Kamali A, Rafeifar S. Frontal sinus parameters in computed tomography and sex determination. Legal Medicine. 2016;19:22-7.