search
Contact Us
HOME

  • Crossref logo
  • Crossref Similarity Check logo
Journal Search Engine

to

Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 2288-3509(Print)
ISSN : 2384-1168(Online)
Journal of Radiological Science and Technology Vol.46 No.4 pp.277-285
DOI : https://doi.org/10.17946/JRST.2023.46.4.277

Performance Evaluation of ResNet-based Pneumonia Detection Model with the Small Number of Layers Using Chest X-ray Images

Youngeun Choi1), Seungwan Lee1,2)
1)Department of Medical Science, Konyang University
2)Department of Radiological Science, Konyang University
Corresponding author: Seungwan Lee, Department of Radiological Science, Konyang University, 158 Gwanjeodong-ro, Seo-gu, Daejeon,
35365, Republic of Korea / Tel: +82-42-600-8443 / E-mail: slee1@konyang.ac.kr
14/06/2023 17/07/2023 03/08/2023

Abstract


In this study, pneumonia identification networks with the small number of layers were constructed by using chest X-ray images. The networks had similar trainable-parameters, and the performance of the trained models was quantitatively evaluated with the modification of the network architectures. A total of 6 networks were constructed: convolutional neural network (CNN), VGGNet, GoogleNet, residual network with identity blocks, ResNet with bottleneck blocks and ResNet with identity and bottleneck blocks. Trainable parameters for the 6 networks were set in a range of 273,921-294,817 by adjusting the output channels of convolution layers. The network training was implemented with binary cross entropy (BCE) loss function, sigmoid activation function, adaptive moment estimation (Adam) optimizer and 100 epochs. The performance of the trained models was evaluated in terms of training time, accuracy, precision, recall, specificity and F1-score. The results showed that the trained models with the small number of layers precisely detect pneumonia from chest X-ray images. In particular, the overall quantitative performance of the trained models based on the ResNets was above 0.9, and the performance levels were similar or superior to those based on the CNN, VGGNet and GoogleNet. Also, the residual blocks affected the performance of the trained models based on the ResNets. Therefore, in this study, we demonstrated that the object detection networks with the small number of layers are suitable for detecting pneumonia using chest X-ray images. And, the trained models based on the ResNets can be optimized by applying appropriate residual-blocks.


Deep learning , Chest X-ray image , Pneumonia detection , Trainable parameter , Residual block

흉부 X선 영상을 이용한 작은 층수 ResNet 기반 폐렴 진단 모델의 성능 평가

최용은1), 이승완1,2)
1)건양대학교 의과학과
2)건양대학교 방사선학과

초록

딥러닝 , 흉부 X선 영상 , 폐렴 진단 , 학습 가능 파라미터 , Residual 블록

    Ⅰ. 서 론

    흉부 X선 검사는 흉곽 내 장기 검사 및 질병 진단을 위해 가장 기본적으로 사용되는 검사이다. 하지만 흉부 X선 영 상은 피사체 내 구조물 중첩으로 인해 대조도가 저하되며, 이는 진단 정확도 저하로 이어진다[1]. 최근 의료영상 분야 에서 딥러닝(Deep learning) 기술에 관한 연구 및 개발이 활발히 진행되고 있다[2-4]. 딥러닝은 인간 신경계를 모방 한 인공신경망(Artificial neural network)을 이용하는 기 술로써, 기존의 인공신경망과는 다르게 뉴런 모델의 층을 깊게 쌓아 올림으로써 신경망의 학습 능력을 향상시킬 수 있는 모델이다. 이러한 딥러닝 기술은 의료영상을 기반으로 환자의 질환을 진단하는 목적뿐만 아니라 영상 분할, 화질 개선 등 다양한 목적으로 활용되고 있으며, 기존 기술의 성 능을 뛰어넘는 결과를 보여주고 있다[5-7]. 따라서 딥러닝 기술을 이용하여 흉부 X선 검사의 진단 정확도 향상을 기대 할 수 있다. 전 세계적인 COVID-19 유행 시 빠른 진단을 위해 흉부 X선 검사를 이용하여 질병을 진단 및 분류하는 딥러닝 기술이 개발되었다[8,9]. 그러나 이러한 딥러닝 기 반 모델은 네트워크 층의 개수가 많고 다량의 학습 파라미 터를 요구하기 때문에 모델 학습에 소요되는 시간이 긴 단 점이 있다. 따라서 임상적 활용도를 향상시키고 모델 학습 의 효율성을 향상시키기 위해서 작은 층수 및 작은 학습 파 라미터를 갖는 딥러닝 기반 네트워크가 필요하며, 해당 네 트워크로 학습된 모델의 성능 평가가 반드시 필요하다고 생 각된다[10].

    2015년에 개발된 residual network(ResNet)는 기존 네 트워크와 유사한 층수로 구성되었음에도 우수한 객체 탐지 및 분류 성능을 보여주었다[11]. ResNet은 ImageNet에 적 용을 위해 각각 18, 34, 50, 101, 152개 층을 갖는 총 5가지 구조로 개발되었다. 152층을 가진 ResNet-152는 기존 19 층을 가진 VGGNet-19에 비해 8배 깊은 층수로 구성되었음 에도 불구하고 학습 파라미터가 56% 작아 효율적인 네트워 크임을 보여주었다[12]. 뿐만 아니라 residual 블록 사용으 로 인해 기울기 소실 및 과대적합(Overfitting) 현상이 감소 하고 정확도가 꾸준하게 향상되는 결과를 보여주었다[13]. 하지만 기존 연구는 네트워크 구조를 동일하게 유지한 채 32개 이상의 깊은 층수를 갖는 ResNet을 대상으로 성능을 평가하였다[14]. 즉, ResNet 기반 딥러닝 모델의 성능을 향 상시킬 수 있는 네트워크 구조 변화를 고려하지 않았다. 그리 고 모델 학습 시간 감소를 위해 작은 층수를 갖는 ResNet에 관한 연구가 필요하지만 32개 미만의 층수를 갖는 ResNet에 대한 성능 평가가 수행되지 않았다. 또한 기존 연구에서는 성능 비교를 위해 ResNet과 동일한 층수를 갖는 타 네트워 크를 비교 대상으로 사용하였다[14]. 하지만 딥러닝 기반 모 델 학습의 효율성 및 정확도는 학습 파라미터 개수에 의존 하므로 네트워크 층수가 아닌 학습 파라미터 개수를 기준으 로 타 네트워크와의 성능 비교가 필요하다[15-17].

    따라서 본 연구에서는 작은 층수를 갖는 다양한 폐렴 진 단용 ResNet을 구성하였고, residual 블록의 변화를 통해 네트워크 구조가 폐렴 진단 정확도에 미치는 영향을 평가하 였다. 또한 ResNet과 유사한 학습 파라미터를 갖는 기존 객 체 탐지용 네트워크를 구성하고 성능을 비교하였다.

    Ⅱ. 대상 및 방법

    1. 데이터 준비

    본 연구에서는 폐렴 진단 모델의 훈련 및 테스트를 위해 Kaggle 데이터베이스에서 제공하는 5,856장의 흉부 X선 영상(License: CC BY 4.0)을 준비하였다[18]. 모델 훈련 및 테스트를 위해 각각 4,648 및 1,172 장의 영상을 사용하 였다.

    모델 훈련 중 과대적합을 방지하고 폐렴 진단의 정확도를 향상시키기 위해 훈련 영상에 회전, 확대, 반전 등 데이터 증강 기술을 이용하였으며 총 10,538장의 훈련 영상을 구성 하였다[19]. 증강된 훈련 및 테스트 영상은 전처리 과정을 통해 Fig. 1과 같이 400 × 400 배열 크기를 갖는 영상으로 변환한 후 사용되었다. 증강된 훈련 영상 중 1,172 장은 검 증 영상으로 사용하였다[3,5,12].

    2. 네트워크 구조 및 학습

    ResNet은 residual 블록 단위로 구성되어 있으며, Eq. (1)과 같이 residual 블록을 거친 학습값 F(x)를 출력하기 전 residual 블록의 입력값 x를 더한 후 활성화 함수를 거쳐 출력하는 것이 특징이다.

    y = F ( x ) + x
    Eq. (1)

    ResNet에서 사용되는 블록 중 identity 블록은 동일한 크기의 필터로 구성된 컨볼루션 2개 층이 연속으로 배열되 어 있는 특징이 있다[11]. Bottleneck 블록은 identity 블록 을 구성하는 컨볼루션 층 사이에 필터의 크기가 다른 컨볼 루션 층이 삽입되어 있는 구조로, identity 블록보다 층이 하나 더 증가하였지만 bottleneck 구조에 의해 블록 내 연 산량이 감소하고, 활성화 함수의 사용 빈도가 증가하는 특 징이 있다[20]. 따라서 residual 블록의 사용으로 네트워크 층이 깊어질수록 입력값의 정보가 소실되는 것을 방지할 수 있고, 이와 같은 장점은 네트워크 층이 깊어질수록 두드러 진다.

    본 연구에서는 폐렴 진단을 위해 12-18개의 층을 갖는 convolutional neural network (CNN), VGGNet, GoogleNet, identity 블록으로 구성된 ResNet(ResNet-I), bottleneck 블록으로 구성된 ResNet(ResNet-B), identity 및 bottleneck 블록을 혼합하여 구성된 ResNet(ResNet-M), 총 6개의 네트 워크를 설계하였다[11,21,22]. 기존 VGGNet과 GoogleNet 구조에서 층수 변화를 주어 학습 파라미터 개수가 본 연구에 서 설계한 ResNet과 유사한 수준이 되도록 설정하였다. Table 1과 같이 본 연구에서 설계한 6개 네트워크의 학습 파라미터 개수는 273,921-294,817로 유사한 수준이다. 또한 네트워크 학습 시 안정성 확보를 위해 batch 정규화 및 drop-out을 적용하였다. CNN, VGGNet, GoogleNet, ResNet-I, ResNet-B 및 ResNet-M의 구조는 각각 Fig. 2에 요약되어 있다. 네트워크 구조에서 convolution 층은 ‘Conv’, max-pooling 층은 ‘Max pooling’, average-pooling 층은 ‘Avg pooling’, 전결합 층은 ‘fc 1’로 표기하였다.

    딥러닝 모델에 입력하는 흉부 X선 영상을 폐렴 또는 정상 영상으로 이진 분류하기 위해 네트워크 학습 시, Eq. (2)와 같은 binary cross entropy(BCE) 손실함수를 이용하였다.

    B C E ( x ) = − 1 N ∑ i = 1 N [ y i log ( h ( x i ; θ ) ) + ( 1 − y i ) log ( 1 − h ( x i ; θ ) ) ]
    Eq. (2)

    h(xi,θ ) 는 입력값 x에 대한 딥러닝 모델의 예측값, yi는 실제값, N 은 BCE 계산을 위해 사용한 데이터의 개수를 나타낸다. 계산된 BCE를 이용하여 네트워크 각 층의 가중 치(Weight, θ ) 및 편향(Bias)을 최적화하기 위해 sigmoid, rectified linear unit(ReLU) 및 adaptive moment estimation (Adam) 함수를 사용하였고 학습률은 2 × 10-4으로 설정하였 다[23,24]. 네트워크 학습은 Python 3.6.3 및 TensorFlow 1.14 라이브러리를 이용하였고, 총 100회의 학습을 시행하 였다.

    3. 성능 평가

    네트워크를 학습 시 과대적합과 과소적합(Underfitting) 발생 여부를 확인하기 위해 학습 횟수에 따른 학습 정확도 와 손실함수의 변화를 측정하였다[25]. 학습된 모델이 실 제값과 다른 예측값을 출력할 경우 출력값을 붉은색으로 표기하도록 설정하여 폐렴 또는 정상 판단에 대한 진위여 부를 시각화할 수 있도록 하였다. 학습된 모델의 성능을 평 가하기 위해 테스트 영상을 이용하여 폐렴 진단에 대한 정 확도(Accuracy), 정밀도(Precision), 재현율(Recall), 특이 도(Specificity), F1-score를 Eqs. (3)-(7)을 이용하여 각 각 계산하였다[26]. 또한 네트워크 학습 시간을 측정하여 네 트워크 별 학습 효율성을 평가하였다.

    A c c u r a c y = T P + T N T P + T N + F P + F N
    Eq. (3)

    Pr e c i s i o n = T P T P + F P
    Eq. (4)

    R e c a l l = T P T P + F N
    Eq. (5)

    S p e c i f i c i t y = T N T N + F P
    Eq. (6)

    F 1 − s c o r e = 2 T P 2 T P + F P + F N
    Eq. (7)

    TP , TN , FP 및 FN 은 폐렴 진단에 대하여 각각 진양성 (True positive), 진음성(True negative), 위양성(False positive) 및 위음성(False negative)인 경우의 개수를 나타낸다. 계 산된 정확도, 정밀도, 재현율, 특이도 및 F1-score가 1에 가까울수록 해당 모델은 우수한 성능을 갖는다고 판단할 수 있다.

    Ⅲ. 결 과

    Figs. 3 및 4는 6개 네트워크 학습 및 검증 시 학습 횟수 에 따른 학습 정확도와 손실함수 변화를 보여준다. 학습 횟 수가 증가함에 따라 GoogleNet을 제외한 5개 네트워크의 학습 정확도는 안정적으로 최대화되었으며, 손실함수 역시 낮은 수준으로 유지되는 결과를 확인하였다.

    Fig. 5는 학습된 모델에 테스트 영상을 입력하고, 해당 영상에 대하여 폐렴 또는 정상 판단 진위여부를 시각화한 결과이다. 그림에서 확인할 수 있는 바와 같이 학습된 모델 이 폐렴 영상에 대하여 정상이라고 잘못 판단하였을 경우 출력값이 붉은색으로 표기되고 있다.

    Table 2는 6개 네트워크 학습에 소요된 시간 및 학습된 폐렴 진단 모델에 대한 정확도, 정밀도, 재현율, 특이도, F1-score를 보여주고 있다. 6개 네트워크의 학습 파라미터 개수가 유사함에도 불구하고 네트워크별 학습 시간의 차이 가 큰 결과를 확인하였다. VGGNet의 학습 시간은 6,717초 로 가장 짧았으며, 타 네트워크에 비해 최대 12,205초 짧았 다. ResNet의 경우 identity 블록만을 사용한 네트워크에 대하여 학습 시간이 감소하였고, ResNet-I에 대한 학습 시 간은 ResNet-M에 비해 6,621초 짧은 결과를 보여주었다. 폐렴 진단에 대한 정확도, 재현율 및 F1-score는 VGGNet 기반 학습 모델에 의해 최대화되었으며, 타 네트워크 기반 모델에 비해 각각 평균 1.28, 1.16 및 2.02% 높은 결과를 확 인하였다. ResNet 기반 폐렴 진단 모델의 정확도, 정밀도, 재현율, 특이도 및 F1-score는 모두 0.9 이상으로 확인되었 다. ResNet-I 기반 폐렴 진단 모델의 정밀도 및 특이도는 각각 0.9731 및 9889로 가장 높았으며, 타 네트워크 기반 모델에 비해 각각 평균 2.92 및 1.11% 높은 결과를 확인하였 다. ResNet의 경우 사용한 residual 블록의 종류에 따라 폐 렴 진단 정확도가 변화함을 확인할 수 있고, 정밀도와 특이 도는 identity 블록만을 사용한 모델, 재현율은 bottleneck 블록을 사용한 모델에서 최대화되는 결과를 확인하였다.

    Ⅳ. 고 찰

    본 연구에서는 흉부 X선 영상을 이용한 폐렴 진단을 위해 작은 층수를 갖는 ResNet을 설계하였고, residual 블록 변 화에 따른 학습 모델의 성능을 평가하였다. 또한 학습 파라 미터 개수가 유사한 CNN, VGGNet 및 GoogleNet 네트워 크를 설계하고 학습 효율성 및 폐렴 진단의 정확도를 비교 하였다.

    6개의 네트워크 중 VGGNet의 학습 효율성이 가장 우수 한 결과를 확인하였다. 본 연구에서 설계한 VGGNet은 총 8개의 max-pooling 층을 포함하고 있으며, 타 네트워크에 비해 5-7개 많은 max-pooling 층으로 구성되어 있다. 딥 러닝 기반 네트워크 구조에서 max-pooling 층은 입력값 중 최대값을 추출한 뒤 출력값의 크기를 감소시킬 수 있는 특 징이 있다[27]. 따라서 본 연구에서 설계한 VGGNet의 입력 영상 크기는 다수의 max-pooling 층에 의해 지속적으로 감 소하고, VGGNet 각 층에서 학습 가능한 파라미터의 개수 역시 감소함으로써 빠른 속도의 학습이 가능하였다. 하지만 다수의 max-pooling 층의 사용은 학습 과정 시 영상 feature를 불필요하게 삭제할 수 있기 때문에 입력 영상의 크기가 작아질수록 중요 정보 손실로 인해 학습 모델의 성 능이 저하될 우려가 있다[28]. Identity 블록 사용으로 인해 ResNet의 학습 속도가 가속화되었으며, identity 및 bottleneck 블록을 동시에 사용할 경우 작은 층수를 갖는 ResNet의 학습 시간은 연장되는 결과를 확인하였다. 이와 같은 결과를 통해 residual 블록의 종류 및 조합에 따라 ResNet 학습 시간이 변화하며, 학습 효율성을 향상시키기 위해 identity 블록 사용이 필요하고 타 residual 블록과의 조합은 지양해야 한다는 사실을 확인하였다.

    본 연구에서 설계한 ResNet 기반 학습 모델에 대한 폐렴 진단 정확도, 정밀도, 재현율, 특이도 및 F1-score는 0.9 이상이었으며, 본 연구에서 설계한 객체 탐지용 CNN, VGGNet 및 GoogleNet 기반 학습 모델의 성능과 대등한 또 는 그 이상의 수준을 보여주었다. 참고문헌 [29]에서는 VGGNet-16, ResNet-50, ResNet-101 등 다수 층 및 수천 만 개의 학습 파라미터를 갖는 기존 객체 탐지용 네트워크 를 이용하여 폐렴 진단 모델을 개발하였으며, 폐렴 진단에 대한 평균 정확도는 약 0.9265, 평균 정밀도는 약 0.9238, 평균 재현율은 약 0.9088 및 평균 F-1 score는 약 0.9125 로 보고하였다. 즉, 본 연구에서 설계한 ResNet 기반 학습 모델보다 낮은 성능을 보여주었다. 이와 같은 결과는 작은 층수를 갖는 ResNet 기반 학습 모델이 흉부 X선 영상으로 부터 폐렴을 정확하게 검출할 수 있으며, 기존 객체 탐지용 학 습 모델을 대체할 가능성이 있음을 보여준다. 또한 residual 블록 종류에 따라 ResNet 기반 학습 모델의 성능이 변화하 므로 사용 목적에 적합하게 ResNet 구조를 최적화할 필요 성이 있음을 보여준다. GoogleNet의 경우 테스트 영상을 이용한 검증 시 학습 횟수 증가에 따라 학습 정확도는 최대 화되었고, 타 네트워크에 비해 손실함수는 변화량이 큰 결 과를 확인하였다. 이와 같은 결과는 GoogleNet 기반 질병 진단 및 분류 모델을 개발한 타 연구에서도 확인되는 결과 이며, 본 연구의 결과와 유사하게 학습 횟수 증가에 따른 모 델의 손실함수 변화량은 큰 반면 정량적 정확도는 높은 결 과를 보여주었다[30,31]. 따라서 이는 질병 진단 및 분류를 위한 GoogleNet 기반 딥러닝 모델의 특성으로 볼 수 있으 며, 손실함수 변화량 감소를 위해 모델 학습 조건의 최적화 가 필요하다[32,33].

    본 연구에서 사용한 전산장비의 한계로 인해 모델 훈련 및 테스트를 위한 입력 영상의 배열 크기를 조절할 필요성 이 있었으며, 각기 크기가 다른 Kaggle 데이터베이스의 흉 부 X선 영상을 동일한 크기로 맞춰줄 필요성이 있었다. 따 라서 본 연구에서는 증강 영상을 400 × 400 배열로 변환 후 사용하였다. 본 연구에서는 네트워크 학습 시 손실량 계 산 및 출력값의 이진 분류를 위해 BCE 함수를 사용하였다. 하지만 Eq. (2)에서 확인할 수 있는 바와 같이 BCE 함수는 학습 모델이 잘못 예측한 결과에 대하여 역가중치를 부여하 여 손실량을 계산하기 때문에 잘못 예측한 결과가 많을수록 손실량이 급격하게 증가하는 단점이 있다[27]. 이와 같은 단 점은 Fig. 3(b)에서 확인할 수 있듯이 학습 횟수 증가에 따 른 손실량 수렴 속도를 감소시킨다. 따라서 BCE 함수의 단 점을 극복할 수 있는 손실함수를 사용함으로써 본 연구에서 제안한 폐렴 진단 모델의 성능을 향상시킬 수 있을 것이다. 또한 본 연구에서 사용한 데이터 증강기술은 훈련 영상의 왜곡을 유발할 가능성이 있기 때문에 데이터 증강 없이 충 분한 훈련 영상을 확보하여 네트워크 학습을 수행한다면 학 습 모델의 성능 향상을 기대할 수 있을 것이다.

    Ⅴ. 결 론

    본 연구에서는 흉부 X선 영상을 이용한 폐렴 진단에 대하 여 기존 객체 탐지용 딥러닝 모델과의 비교를 통해 작은 층수 를 갖는 ResNet 기반 딥러닝 모델의 효율성 및 성능을 검증 하였다. 또한 학습 모델 사용 목적에 따라 residual 블록을 변화시켜 네트워크 구조를 최적화할 수 있음을 보여주었다. 결론적으로 본 연구의 결과는 일반 X선 영상을 이용한 질병 검출용 딥러닝 모델 개발을 위해 활용될 수 있을 것이다.

    Figure

    JRST-46-4-277_F1.gif

    Chest X-ray images for network training without data augmentation (a) and with data augmentation using a combination of rotation, zoom and transverse flip (b-d).

    JRST-46-4-277_F2.gif

    (a) CNN, (b) VGGNet, (c) GoogleNet, (d) ResNet-I, (e) ResNet-B and (f) ResNet-M architectures

    JRST-46-4-277_F3.gif

    (a) Training and (b) validation accuracy for the six networks with an increase of epoch.

    JRST-46-4-277_F4.gif

    (a) Training and (b) validation loss for the six networks with an increase of epoch.

    JRST-46-4-277_F5.gif

    Visualization outputs of the trained model for (a) a wrong prediction and (b)-(d) correct predictions.

    Table

    Types of the networks

    Quantitative performance of the 6 trained models

    Reference

    1. Quekel LG, Kessels AG, Goei R, Van Engelshoven MA. Miss rate of lung cancer on the chest radiograph in clinical practice. Chest. 1999;15(3):720-4.
    2. Hong JY, Park SH, Jung YJ. Artificial Intelligence based medical imaging: An overview. Journal of Radiological Science and Technology. 2020;43(3): 195-208.
    3. Kim YJ, Kim KG. Development of an optimized deep learning model for medical imaging. Journal of the Korean Society of Radiology. 2020;81(6):1274-89.
    4. Oh JY, Jeong EH, Lee JY, Park HH. Evaluating usefulness of deep learning based left ventricle segmentation in cardiac gated blood pool scan. Journal of Radiological Science and Technology. 2022; 45(2):151-8.
    5. Seah JCY, Tang CHM, Buchlak QD, Holt XG, Wardman JB, Aimoldin A, et al. Effect of a comprehensive deep-learning model on the accuracy of chest x-ray interpretation by radiologists: A retrospective, multireader multicase study. The Lancet Digital Health. 2021;3(8):496-506.
    6. Zakaria R, Abdelmajid H, Zitouni D. Deep learning in medical imaging: A review. Applications of Machine Intelligence in Engineering. 2022:131-44.
    7. Anis S, Lai KW, Chuah JH, Ali SM, Mohafez H, Hadizadeh M, et al. An overview of deep learning approaches in chest radiograph. IEEE Access. 2020;8:182347-54.
    8. Aslani S, Jacob J. Utilisation of deep learning for COVID-19 diagnosis. Clinical Radiology. 2023;78(2): 150-7.
    9. Hussain E, Hasan M, Rahman MA, Lee I, Tamanna T, Parvez MZ. CoroDet: A deep learning based classification for COVID-19 detection using chest X-ray images. Chaos, Solitons & Fractals. 2021;142:110495.
    10. Ikechukwu AV, Murali S, Deepu R, Shivamurthy RC. ResNet-50 vs VGG-19 vs training from scratch: A comparative analysis of the segmentation and classification of Pneumonia from chest X-ray images. Global Transitions Proceedings. 2021;2(2):375-81.
    11. He K, Zhang X, Ren S, Sun J. Deep residual learning for image recognition. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016:770-8.
    12. Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition. arXiv: 1409.1556; 2014.
    13. Ying X. An overview of overfitting and its solutions. Journal of Physics: Conference Series. 2019;1168(2):022022.
    14. Yuan P, Lin S, Cui C, Du Y, Guo R, He D, et al. HS-ResNet: Hierarchical-split block on convolutional neural network. arXiv:2010.07621; 2020.
    15. Amjoud AB, Amrouch M. Convolutional neural networks backbones for object detection. Proceedings of the International Conference on Image and Signal Processing. 2020:282-9.
    16. He T, Zhang Z, Zhang H, Zhang Z, Xie J, Li M. Bag of tricks for image classification with convolutional neural networks. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019:558-67.
    17. Taylor L, Nitschke G. Improving deep learning with generic data augmentation. IEEE Symposium Series on Computational Intelligence. 2018:1542-7.
    18. Kaggle. Pneumonia classification. [cited 2023 May 12]. Available from https://www.kaggle.com/datasets/paultimothymooney/chest-xray-pneumonia.
    19. Shorten C, Khoshgoftaar TM. A survey on image data augmentation for deep learning. Journal of Big Data. 2019;6(1): 1-48.
    20. Zagoruyko S, Komodakis N. Wide residual networks. arXiv: 1605.0714; 2016.
    21. Gu J, Wang Z, Kuen J, Ma L, Shahroudy A, Shuai B, et al. Recent advances in convolutional neural networks. Pattern Recognition. 2018;77:354-77.
    22. Szegedy C, Liu W, Jia Y, Sermanet P, Reed S, Anguelov D, et al. Going deeper with convolutions. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015:1-9.
    23. Loshchilov I, Hutter F. Decoupled weight decay regularization. arXiv: 1711.05101; 2017.
    24. Dhumale RB, Thombare ND, Bangare PM. Machine learning: A way of dealing with Artificial Intelligence. International Conference on Innovations in Information and Communication Technology. 2019:1-6.
    25. Gholamalinezhad H, Khosravi H. Pooling methods in deep neural networks, a review. arXiv: 2009. 07485; 2020.
    26. Jiao Y, Du P. Performance measures in evaluating machine learning based bioinformatics predictors for classifications. Quantitative Biology. 2016;4: 320-30.
    27. Lin TY, Goyal P, Girshick R, He K, Dollar P. Focal loss for dense object detection. Proceedings of the IEEE International Conference on Computer Vision. 2017:2980-8.
    28. Nagi J, Ducatelle F, Di Caro GA, Ciresan D, Meier U, Giusti A, et al. Max-pooling convolutional neural networks for vision-based hand gesture recognition. IEEE International Conference on Signal and Image Processing Applications. 2011:342-7.
    29. Guler O, Polat K. Classification performance of deep transfer learning methods for pneumonia detection from chest X-ray images. Journal of Artificial Intelligence and Systems. 2022;4(1):107-26.
    30. Chouhan V, Singh SK, Khamparia A, Gupta D, Tiwari P, Moreira C, et al. A novel transfer learning based approach for pneumonia detection in chest X-ray images. Applied Sciences. 2020;10(2):559.
    31. Ali F, Khan S, Abbas AW, Shah B, Hussain T, Song D, et al. A two-tier framework based on GoogLeNet and YOLOv3 Models for tumor detection in MRI. Computers, Materials and Continua. 2022;72:73-92.
    32. Han Y, Chen C, Tewfik A, Ding Y, Peng Y. Pneumonia detection on chest x-ray using radiomic features and contrastive learning. IEEE International Symposium on Biomedical Imaging. 2021:247-51.
    33. Yu Z, Dong Y, Cheng J, Sun M, Su F. Research on face recognition classification based on improved GoogleNet. Security and Communication Networks. 2022;2022:1-6.
    Copyright © Korean Society of Radiological Science. All rights reserved.