Journal Search Engine
Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 2288-3509(Print)
ISSN : 2384-1168(Online)
Journal of Radiological Science and Technology Vol.40 No.2 pp.237-243
DOI : https://doi.org/10.17946/JRST.2017.40.2.08

Retrospective Analysis of Cytopathology using Gray Level Co-occurrence Matrix Algorithm for Thyroid Malignant Nodules in the Ultrasound Imaging

Yeong-Ju Kim1), Jin-Soo Lee1), Se-Sik Kang2), Changsoo Kim2)
1)Dept. of Radiology, Inje University Haeundae Paik Hospital
2)Dept. of Radiological Science, College of Health Sciences, Catholic University of Pusan

Corresponding author: Changsoo Kim, Department of Radiological Science, College of Health Sciences, Catholic University of Pusan, 57, Oryudae-ro, Geumjeong-gu, Busan, Korea, 46252 / +82-51-510-0580/ cszzim@cup.ac.kr
May 18, 2017 June 10, 2017 June 21, 2017

Abstract

This study evaluated the applicability of computer-aided diagnosis by retrospective analysis of GLCM algorithm based on cytopathological diagnosis of normal and malignant nodules in thyroid ultrasound images. In the experiment, the recognition rate and ROC curve of thyroid malignant nodule were analyzed using 6 parameters of GLCM algorithm. Experimental results showed 97% energy, 93% contrast, 92% correlation, 92% homogeneity, 100% entropy and 100% variance. Statistical analysis showed that the area under the curve of each parameter was more than 0.947 (p = 0 .001) in t he ROC curve, which was s ignificant in the recognition of thyroid malignant nodules. In the GLCM, the cut-off value of each parameter can be used to predict the disease through analysis of quantitative computer-aided diagnosis.


갑상샘 악성결절의 초음파영상에서 GLCM 알고리즘을 이용한 세포병리 진단의 후향적 분석

김 영주1), 이 진수1), 강 세식2), 김 창수2)
1)인제대학교 해운대백병원 영상의학과
2)부산가톨릭대학교 보건과학대학 방사선학과

초록

본 연구는 갑상샘 초음파 영상에서 정상 및 악성결절의 세포병리 진단결과를 바탕으로 GLCM 알고리즘분석을 통한 후향적 연구를 시행하여 컴퓨터보조진단의 적용 가능성을 평가하였다. GLCM 알고리즘의 6가지 파라미터를 이용한 갑상샘 악성결절의 인식률 평가와 ROC 곡선을 분석하였다. 실험 결과는 에너지 97%, 대조도 93%, 상관관 계 92%, 동질성 92%, 엔트로피 100%, 분산 100%의 높은 질환인식률을 나타내었다. ROC 곡선 분석에서 각 파라 미터의 곡선아래면적이 0.947(p=0.001) 이상을 나타내어 갑상샘 악성결절의 인식에 의미가 있는 결과로 나타났다. 또한 GLCM에서 각 파라미터의 cut-off값 결정으로 정량적인 컴퓨터보조진단의 분석을 통한 질환예측이 가능할 것 으로 판단된다.


    Ⅰ서 론

    X선 및 초음파, 전산화단층촬영, 자기공명영상 등 방사 선학적 영상장비는 질병을 진단하고 예방하는 중요한 역할 을 하며, 이중 초음파 영상은 이동성, 비침습성, 실시간 영 상정보의 제공 및 경제성의 측면에서 매우 유용한 검사방법 이다[1]. 초음파검사를 통하여 시각화된 피하 조직 구조 및 내부 장기 영상을 이용하여 검사자는 조직의 특성 및 구조 를 추론하며 다양한 부위의 진단에 사용되어진다[2].

    갑상샘은 목 앞 중앙에 위치해 있고, 후두와 기관 앞에 자 리한 나비모양의 내분비기관이다. 해부학적으로 피부 가까 이 있고, 균일한 초음파 에코발생을 나타내어 주변 구조물 과 구분이 명확하여 다른 장기에 비하여 초음파검사에 적합 하다. 갑상샘 초음파진단은 결절의 정확한 위치, 크기, 개수 및 내부 에코 특성에 대한 정보를 제공하여 갑상샘 질환의 초기 진단이 유용하며, 양성 결절 및 갑상샘 암(thyroid cancer)의 수술 후 상태 관찰에서도 매우 중요한 역할을 수 행한다[3]. 갑상샘에는 감각이 없어 혹 또는 암이 생겨도 통 증이 없어 초기에 알아내기 힘들며 초기 증상 또한 명확하 지 않다. 갑상샘 결절(nodules)은 비교적 흔한 질병으로, 촉 지 되는 갑상샘 결절은 인구의 5% 정도에서 발견되며, 비촉 지 결절은 40∼50%에 이르는 것으로 알려져 있다. 그러나 갑상샘 암으로 진단되는 환자는 이 중 3∼5% 정도에 그친다 [3,4]. 갑상샘의 검사 및 진단에 초음파를 이용하면 전체 인 구의 약 50%에서 결절이 발견되며 크기에 관계없이 전체 갑 상샘 결절의 약 5%가 갑상샘 암으로 나타난다. 고해상도 갑상샘 초음파는 갑상샘의 해부학적 정보를 가장 예민하게 검 사할 수 있는 검사법으로 갑상샘 결절의 초음파 특징을 제 공하여 악성결절을 예측하는데 도움을 주며 세침흡인검사 (fine-needle aspiration cytology; FNA)시 초음파유도를 제공하여 적절한 검체를 획득 하는데 도움을 준다[5,6]. 세 침흡인검사는 시술의 편리성, 안정성 및 정확성으로 인해 갑상샘 암을 진단하기 위한 중요한 검사로 사용되고 있으 나, 세포 표본을 얻지 못하는 경우가 많아 세침흡인 검사에 대한 논란이 계속되고 있다. 최근 고해상도 초음파 진단으 로 95% 이상의 정확도로 갑상샘 결절 유무를 확인할 수 있 으며 건강검진의 활성화로 갑상샘초음파검사의 접근이 일 반화 되면서 갑상샘 결절 뿐 아니라 갑상샘 암의 조기발견 이 크게 증가하였다. 발견된 갑상샘 결절의 대부분은 양성 이며, 악성결절은 4∼14%의 빈도를 보인다[7]. 국내 통계청 자료에 의하면 갑상샘 암은 여성인구 10만 명당 29,270명이 발생하여 전체 여성 암 중 30.1%로 1위를 차지한다.

    갑상샘 결절 진단을 위한 객관적 데이터를 제공하기 위하 여 초음파 영상에서 통계 정보를 추출하여 질적·양적 정보를 분석하는 다양한 텍스처 특성화 기법을 사용하여 갑상샘 결 절의 분류가 가능하다. 최근 영상 질감을 기초로 한 영상분 석에 대한 관심이 높아지고 이에 대한 연구가 활발하게 이루 어지고 있다. 질감을 분석하는 기법 중 구조적(structural) 접근법은 질감의 패턴이 구조를 생성하는 방식이며, 통계적 (statistical) 접근법은 질감은 램덤하나 어떤 일관된 속성을 가지므로 영상이 가지는 통계적 특성을 이용하는 방법이다. 통계적 분석법은 영상의 명암레벨 사이의 분포와 관계를 조 절하는 비결정적인 속성들에 의해 간접적으로 질감을 표현 한다. 영상의 공간적인 질감특성을 분석하는데 2차 통계에 바탕을 두고 얻어지는 GLCM(Gray Level Co-occurrence Matrix)이 가장 널리 이용되고 있다. GLCM은 회색조(Gray) 영상을 대상으로 영역을 구성하는 각 화소의 명암을 이용하 여 이웃한 화소가 가진 명암과의 관계에 대한 발생하는 빈도 수를 나타낸 행렬이다[8]. 국외의 경우 Gireesha 등에 의해 GLCM영상 분석을 이용한 초음파 영상의 갑상샘 결절의 영 상 분석에 대한 연구가 진행되었다[9]. 이에 본 연구는 회색 조초음파 영상에서 세포 병리학 진단결과를 후향적 분석후 갑상샘 악성결절의 양자화 과정으로 명암레벨에 기반을 둔 GLCM 알고리즘을 이용하여 컴퓨터보조진단 시스템을 제안 하고 이를 바탕으로 갑상샘 결절에 대한 정량적인 분석결과 를 제공하여 진단적 오류를 감소시키고 임상 전문의의 질병 인식 및 진단의 예측 수단으로 활용하고자 한다.

    Ⅱ대상 및 방법

    1실험대상

    본 연구는 2017년 1월∼4월까지 부산소재 P종합병원을 내원한 환자 중 갑상샘 초음파검사와 세침검사를 시행한 증 례를 대상으로 하였다. 평균 연령은 49.24세±12.06세, 남 자 22명, 여자 98명으로 영상의학과 전문의의 악성결절(현 저한 저에코, 미세석회화, 불균질한 경계, 불규칙한 경계등) 에 대한 판독소견과 세침흡인생검의 세포 병리학적 진단결 과를 바탕으로 후향적 분석을 시행하였다.

    전체 실험영상은 120증례로, 정상적인 환자의 갑상샘 초 음파 영상 60증례, 갑상샘 악성결절 초음파 영상 60증례를 이용하여 각 영상에 대해 관심영역(ROI)을 설정하여 실험영 상을 획득하였다.

    2실험방법

    연구의 실험영상의 획득을 위해 이용된 초음파 장비는 Ascendus(HITACHI, Japan)이다. 획득한 영상은 50×50 pixel 크기로 관심영역(ROI)을 설정하였고, MATLAB (R2015b, Ver.8.6, MathWorks Inc., USA) 프로그램을 이 용하였으며, GLCM의 파라미터에서 Energy, Contrast, Correlation, Homogeneity, Entropy, Variance 결과 값을 산출하였다[Table 1][10].

    입력된 영상은 병변의 정확한 분석을 위해 제안된 전처리 과정으로 히스토그램 평활화(Histogram Equalization), 양 자화(Quantization)를 시행하였으며, 이후 범위필터(Range Filter)를 적용하였다. 각 획득된 영상에 대해 제안된 GLCM 알고리즘을 이용하여 결과를 산출하였다[Fig. 1, 2]. 히스토 그램 평활화는 영상의 명암 값들을 균일하게 분산하여 명암 대비의 개선효과를 나타낸다. 양자화는 샘플링을 통해 획득 된 데이터(픽셀)에 숫자로 된 값을 할당하며 16단계로 구분 할 수 있다. 범위필터는 질감분석(Texture Analysis)에 주 로 많이 이용되며, 관심 픽셀(pixel)의 이웃하는 픽셀들 중 에 최대값과 최소값의 차이를 계산하여 최적화된 임계값을 이용해서 픽셀값을 그레이 레벨로 바꾸는 기법이다[11,12]. 이러한 범위필터의 사용은 의료영상에서 노이즈(noise)가 감소되어 관심영역(ROI)에서 병변 부위 인식에 정확도를 높 여준다.

    통계분석은 MedCalc(ver. 15.8, MedCalc software, ostend, Belgium) 프로그램을 이용하여 p-value 0.05 이하 로 유의성 검증을 시행하였다. 초음파 영상에서 갑상샘 악성 결절을 예측하기 위한 기준을 알아보고자 통계적 방법으로 ROC (Receiver Operating Characteristic curve)를 분석하 였으며, AUC(Area Under the Curve), 민감도(sensitivity) 및 특이도(specificity)를 산출하였다.

    Ⅲ결 과

    1GLCM 파라미터 분석

    정상 갑상샘 영상과 갑상샘 악성결절 영상의 GLCM 특징 값 분석 결과는 다음과 같다[Table 2].

    1)Energy

    갑상샘의 정상조직과 악성결절 조직에 대한 초음파 영상 에 대한 에너지 정보를 나타낸 결과 값이다. 정상 갑상샘 영 상의 에너지 값은 최대 0.0199, 최소 0.0090, 평균 0.0014 ±0.0024로 나타났으며 악성결절 조직의 에너지 값은 최대 0.1080, 최소 0.0190, 평균 0.0367±0.0179로 나타났다. 악 성결절 조직 영상의 결과 값이 정상 갑상샘 영상의 범위를 벗어나면 질환의 구별이 가능하며, 전체 60증례에서 정상 갑상샘 영상의 최대값과 최소값의 범위를 벗어나는 악성결 절 영상은 58례로 악성결절의 인식률은 97%로 나타났다 [Fig. 3].

    2)Contrast

    갑상샘의 정상조직과 악성결절 조직에 대한 초음파 영상 에 대한 대조도 정보를 나타낸 결과 값이다. 정상 갑상샘 영상의 대조도 값은 최대 12.8615, 최소 5.8212, 평균 7.4674±1.3524이었고, 악성결절 조직의 대조도 값은 최대 6.1190, 최소 1.0718, 평균 3.5463±1.3991로 나타났다. 전 체 60증례에서 정상 갑상샘 영상의 최대값과 최소값의 범위 를 벗어나는 갑상샘 악성결절 영상은 56증례로 인식률은 93%로 나타났다[Fig. 4].

    3)Correlation

    갑상샘의 정상조직과 악성결절 조직에 대한 초음파 영상 에 대한 상관관계 정보를 나타낸 결과 값이다. 정상 갑상샘 영상의 상관관계 값은 최대 0.6097, 최소 0.4698, 평균 0.5562±0.0327이었고, 악성결절 조직의 상관관계 값은 최 대 0.7154, 최소 0.6001, 평균 0.6550±0.0307로 나타났다. 전체 60증례에서 정상 갑상샘 영상의 최대값과 최소값의 범 위를 벗어나는 갑상샘 악성결절 영상은 55증례로 인식률은 92%로 나타났다[Fig. 5].

    4)Homogeneity

    갑상샘의 정상조직과 악성결절 조직에 대한 초음파 영상 에 대한 동질성 정보를 나타낸 결과 값이다. 정상 갑상샘 영 상의 동질성 값은 최대 0.5201, 최소 0.4448, 평균 0.4877 ±0.0155이었고, 악성결절 조직의 동질성 값은 최대 0.7401, 최소 0.5093, 평균 0.5933±0.0517로 나타났다. 전체 60증 례에서 정상 갑상샘 영상의 최대값과 최소값의 범위를 벗어 나는 갑상샘 악성결절 영상은 55증례로 인식률은 92%로 나 타났다[Fig. 6].

    5)Entropy

    갑상샘의 정상조직과 악성결절 조직에 대한 초음파 영 상에 대한 엔트로피 정보를 나타낸 결과 값이다. 정상 갑 상샘 영상의 엔트로피 값은 최대 4.9958, 최소 4.2714, 평 균 4.5957±0.1495이었고, 악성결절 조직의 엔트로피 값은 최대 4.2556, 최소 2.7156, 평균 3.8062±0.3598로 나타났 다. 전체 60증례에서 정상 갑상샘 영상의 최대값과 최소값 의 범위를 벗어나는 갑상샘 악성결절 영상은 60증례로 인식 률은 100%로 나타났다[Fig. 7].

    6)Variance

    갑상샘의 정상조직과 악성결절 조직에 대한 초음파 영상 에 대한 분산 정보를 나타낸 결과 값이다. 정상 갑상샘 영상 의 분산 값은 최대 68.4710, 최소 40.1989, 평균 48.0417 ±6.1013이었고, 악성결절 조직의 분산 값은 최대 39.9380, 최소 7.2591, 평균 25.1242±8.6393로 나타났다. 전체 60 증례에서 정상 갑상샘 영상의 최대값과 최소값의 범위를 벗 어나는 갑상샘 악성결절 영상은 60증례로 인식률은 100%로 나타났다[Fig. 8].

    2통계 분석

    초음파 영상에서 갑상샘 악성결절 질환의 감별진단을 위 한 cut-off 값을 결정하기 위해 6개의 GMCL 파라미터의 곡선하면적(Area Under the Curve; AUC)을 정확도의 지 표로 이용하였으며, 민감도와 특이도의 합이 가장 큰 값을 cut-off 값으로 선택하였다. 통계분석의 결과로서 GMCL 파라미터의 AUC, 민감도, 특이도를 나타낸 결과이다. 에너 지의 분석결과 AUC 0.998, 민감도 100%, 특이도 96.67% (95% 신뢰구간 0.966∼1.000), Youden index 0.9667에서 cut-off 값은 0.0186로 나타났다. 상관관계의 분석결과 AUC 0.964, 민감도 91.67%, 특이도 93.33%(95% 신뢰구간 0.913∼0.990), Youden index 0.8500에서 cut-off 값은 0.6014로 나타났다. 동질성의 분석결과 AUC 0.961, 민감 도 90.00%, 특이도 96.67%(95% 신뢰구간 0.910∼0.988), Youden index 0.8667에서 cut-off 값은 0.5272로 나타났 다. 대조도의 분석결과 AUC 0.961, 민감도 76.67%, 특이도 100%(95% 신뢰구간 0.909∼0.998), Youden index 0.7667 에서 cut-off 값은 4.6843로 나타났다. 엔트로피의 분석결 과 AUC 0.948, 민감도 83.33%, 특이도 95.00%(95% 신뢰 구간 0.892∼0.980), Youden index 0.7833에서 cut-off 값 은 4.2946로 나타났다. 분산의 분석결과 AUC 0.947, 민감 도 88.33%, 특이도 93.33%(95% 신뢰구간 0.890∼0.979), Youden index 0.8167에서 cut-off 값은 37.2784로 나타 났다[Table 3], [Fig. 9].

    Ⅳ고 찰

    본 연구는 세포병리학적 진단결과와 갑상샘 초음파 판독 소견을 바탕으로 GLCM 분석과 ROC 분석을 통한 컴퓨터보 조진단 시스템의 적용을 위한 후향적 실험적인 연구를 통하 여 보다 객관적인 의료 정보의 제공과 갑상샘 악성결절의 정확한 진단 예측 방향을 제시하고자 하였다. 이를 위해 정 상 및 악성결절 초음파 영상을 실험영상으로 하여 GLCM의 특징값을 나타내는 6가지 파라미터로 통계적 분석 결과를 나타내었다.

    분석결과 그레이 영상의 무질서도를 표현하는 엔트로피 와 화소가 얼마나 퍼져 있는지를 나타내는 수치의 분산에서 각각 100%의 가장 높은 질환인식률을 나타내었고, 명암도 의 균일성 척도인 에너지에서 97%, 그레이 레벨들 사이의 명암도 차이를 측정하는 대조도에서 93%, 전체 영상에 걸쳐 한 화소가 그의 이웃화소와 어떻게 상관되는지에 관한 척도 인 상관관계와 명암도 분포에 관계없이 일정한 정도를 나타 내는 동질성에서 각각 92%의 질환인식률을 나타내었다. 본 연구와 관련하여 Bag[13]에 의한 갑상샘 결절의 초음파 영 상 질감 파라미터 분류 결과에서 GLCM을 이용한 경우 8개 파라미터 중 에너지, 대조도, 상관관계, 엔트로피가 통계적 유의성이 있음을 나타내어 본 연구 결과가 질환인식에 있어 서 의미가 있음을 알 수 있었으며, Cho[14] 등의 연구에서 전립선을 대상으로 GLCM 알고리즘을 적용한 질감특징분석 을 시행하여 다양한 파라미터들의 질환인식률에 대한 평가 를 하였으며, 그 중 엔트로피에서 인식률이 높다고 하여 본 연구 결과와 일치하였다. 따라서 본 연구에서 제한된 GLCM 파라미터를 이용한 갑상샘 악성결절의 임상적 적용이 가능 할 것으로 사료된다.

    일반적으로 ROC curve를 이용한 분석에서 AUC의 경 우 0.6 이상일 때 의미가 있는 것으로 평가된다[15]. 이에 본 연구에 이용된 6가지의 GLCM 파라미터 모두 0.947 (p=0.001) 이상을 나타내어 질환인식에 의미가 있는 결과를 나타내었으며, 각 파라미터의 질환예측을 위한 cut-off 값 은 에너지 0.0186, 대조도 4.6843, 상관관계 0.6014, 동질 성 0.5272엔트로피 4.2946, 분산 37.2784로 결정되었다. 이러한 결과를 바탕으로 갑상샘 초음파 영상에서 결정된 cut-off값 보다 높은 값을 나타낼 경우 악성결절을 예측 할 수 있을 것으로 판단된다.

    본 연구의 제한점으로 영역 추출에 있어 다소 거친(rough) 점이 결과에 영향을 미칠 수 있을 것으로 사료되며, 이러한 점을 보완하기 위해 향후 비등방성제거, 분할, 윤곽추출, 수 학적 모델 등을 사용 등을 고려한 전향적 연구가 추가로 진 행되어야 할 것이다.

    Ⅴ결 론

    본 연구에서 제안된 GMCL 알고리즘을 이용한 갑상샘 결 절의 자동인식률은 세포병리학적 진단결과와 거의 일치함 을 알 수 있었으며, 이는 의료영상의 자동진단 인식 시스템 에 대한 컴퓨터보조진단 프로그램의 구현 가능성과 질환 진 단의 예비 자료로써 디지털 의료영상의 적용이 가능할 것으 로 생각되어진다. 향후 갑상샘 질환 진단에서 판독 결과에 대한 객관적 자료 제시와 판독시간 단축을 위해 갑상샘 질 환 중 갑상샘염 및 양성결절 등이 포함된 복합질환의 판별 및 인식에 관한 연구도 같이 병행되어야 할 것이며, 이러한 질환인식 자동시스템의 일반화가 이루어진다면 불필요한 세포 흡인 조직 생검이나 조직검사와 같은 침습적인 검사를 최소화할 수 있을 것으로 기대된다.

    Figure

    JRST-40-237_F1.gif

    Diagram of GLCM algorithm Analysis

    JRST-40-237_F2.gif

    a: Image of Thyroid malignant nodule in the ultrasonography, b : Result of h istogram equalization, c : Result of quantization, d : Result of range filter

    JRST-40-237_F3.gif

    Comparison of Energy in normal and malignant nodule of thyroid images

    JRST-40-237_F4.gif

    Comparison of Contrast in normal and malignant nodule of thyroid images

    JRST-40-237_F5.gif

    Comparison of Correlation in normal and malignant nodule of thyroid images

    JRST-40-237_F6.gif

    Comparison of Homogeneity in normal and malignant nodule of thyroid images

    JRST-40-237_F7.gif

    Comparison of Entropy in normal and malignant nodule of thyroid images

    JRST-40-237_F8.gif

    Comparison of Variance in normal and malignant nodule of thyroid images

    JRST-40-237_F9.gif

    Comparison of Result of ROC analysis

    Table

    Parameters of GLCM

    Results of GLCM in the Thyroid lesion

    Result of ROC curve analysis

    Reference

    1. Singh N. , Jindal A. (2012) A Segmentation Method and Comparison of Classification Methods for Thyroid Ultrasound Images , International Journal of Computers and Applications, Vol.50 (11) ; pp.43-49
    2. Stamos K , Eystratios G K , Dimitris M (2010) A Contourlet Transform Feature Extraction Scheme for Ultrasound Thyroid Texture Classification. , Engineering Intelligent Systems Special issue: Artificial Intelligence Applications and Innovations, Vol.18 (3)
    3. Tan G. H. , Gharib H. (1997) Thyroid incidentalomas: Management approaches to nonpalpable nodules discovered incidentally on thyroid imaging. , Annals of Internal Medicine, Vol.126 (3) ; pp.226-231
    4. Ross D. S. (2002) Nonpalpable thyroid nodules—managing an epidemic. , Journal of Clinical Endocrinology and Metabolism, Vol.87 (5) ; pp.1938-1940
    5. Hegedüs L. (2004) Clinical practice. The thyroid nodule. , New England Journal of Medicine, Vol.351 (17) ; pp.1764-1771
    6. Gharib H. , Papini E. (2007) Thyroid nodules: Clinical importance, assessment, and treatment. , Endocrinology and Metabolism Clinics of North America, Vol.36 (3) ; pp.707-735, vi
    7. Marqusee E. , Benson C. B. , Frates M. C. , Doubilet P. M. , Larsen P. R. , Cibas E. S. , Mandel S. J. (2000) Usefulness of ultrasonography in the management of nodular thyroid disease. , Annals of Internal Medicine, Vol.133 (9) ; pp.696-700
    8. Cho Y. H. (2015) A Performance Improvement of GLCM Based on Nonuniform Quantization Method , Journal of Korean Institute of Intelligent Systems, Vol.25 (2) ; pp.133-138
    9. Gireesha H. M. , Nanda S. (2014) Thyroid Nodule Segmentation and Classification in Ultrasound Images , International Journal of Engineering Research & Technology, Vol.3 (5) ; pp.2252-2256
    10. Shrikant D. (2013) Texture Analysis of Ultrasound Medical Images for Diagnosis of Thyroid Nodule Using Support Vector Machine , International Journal of Computer Science and Mobile Computing, Vol.2 (10) ; pp.71-77
    11. Nitish Z. , Vrushsen P. (2012) GLCM Textural Features for Brain Tumor Classification , International Journal of Computational Science, Vol.9 (3)
    12. Poonguzhali S. , Ravindran G. (2008) Automatic Classification of Focal Lesions in Ultrasound Liver Image Using Combined Texture Features , Information Technology Journal, Vol.7 (1) ; pp.205-209
    13. Bag BE (2016) Texture analysis of thyroid nodules in ultrasound image for computer aided diagnostic system , Graduate school of Yonsei University,
    14. Cho J. Y. , Kim C. S. , Kang S. S. , Ko S. J. , Ye S. Y. (2015) Image Analysis of Computer Aided Diagnosis using Gray Level Co-occurrence Matrix in the Ultrasonography for Benign Prostate Hyperplasia. , Journal Of The Korea Contents Association., Vol.15 (3) ; pp.184-191
    15. Park Y. O. , Jung E. K. , Park Y. J. , Nam S. R. , Jung J. Y. , Kim H. J. (2007) The Evaluation of CR and DDR chest image using ROC analysis. , Journal of the Korean Society of Radiology, Vol.1 (1) ; pp.25-30