Journal Search Engine
Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 2288-3509(Print)
ISSN : 2384-1168(Online)
Journal of Radiological Science and Technology Vol.44 No.6 pp.679-688
DOI : https://doi.org/10.17946/JRST.2021.44.6.679

The Study on Satisfactory Rate with Students Which Experienced Non-face-to-face Online Class Environment for Two Years: For Radiology Majoring Students

Jin-Hyun Son
Department of Radiological Technology, Shingu College
Corresponding author: Jin-Hyun Son, Department of Radiological technology, Shingu College, 377 Gwangmyeong-ro, Seongnam-si,
Gyeonggi-do, 13174, Republic of Korea / Tel: +82-31-740-1629 / E-mail: rtsjh@shingu.ac.kr
20/11/2021 11/12/2021 19/12/2021

Abstract


This study is a questionnaire about the lesson environment that radiation major students prefer in a non-face-to-face live online lesson environment for a total of 133 students, 65 second graders and 68 third graders who are enrolled in the department of radiology at a university located in the Seoul metropolitan area. And checked the satisfactory level by grade. The questionnaire consists of three categories: 1st real-time non-face-to-face lectures, 2nd professor lectures, and 3rd corona lectures. A total of 14 questions, with multiple choice and descriptive response methods. As an evaluation method, in the case of a multiple-choice question, the average was calculated using a 5-point Likert scale. As a result of conducting the independent sample T-test of the SPSS program, the response by grade was P > 0.05, and no significant result was shown by the contents of the questionnaire survey of the second grade. As for the lecture method of the department of radiology after the end of Covid-19 virus, it is better to promote face-to-face lessons in radiation training subjects and non-face-to-face real-time education in subjects centered on radiation theory.



실시간 비대면 수업환경을 2년간 경험한 학생들의 만족도 조사 연구: 방사선전공학생들을 대상으로

손 진현
신구대학교 방사선과

초록


    Ⅰ. 서 론

    2019년 코로나-19가 처음 발생한 이후 전 세계적으로 빠르게 확산하자 세계보건기구(WHO)는 2020년 3월에 코 로나-19를 팬데믹(Pandemic)으로 선언하였고[1-2], 이후 2020년 신학기에는 개강을 미루는 등 1학기부터 대부분의 교육 현장은 비대면 수업으로 바뀌었고 특히 대학의 경우는 2021년 2학기인 지금까지 대부분의 수업이 비대면 원격수 업을 하고 있다. 대학의 경우 모든 전공 수업을 비대면으로 강의를 진행하여 초기에는 학생 및 교수자 모두 익숙하지 않은 수업환경으로 인해 어려움을 겪었으며 온라인 원격수 업의 중요한 수단인 네트워크에 대한 동 시간대의 접속이 몰리면서 자주 끊기는 장해 등 교육 현장은 모든 것이 불편 한 경험을 하기도 하였다.

    이러한 비대면 원격수업이 대부분 강의 진행 방식으로 자 리잡은 지금 2020년부터 이와 관련한 논문들이 많이 발표 되는데 주요 선행논문을 크게 세 영역으로 나누어 살펴보면 첫째, 비대면 온라인수업에 관한 학생과 교수자의 변화하는 환경에 대한 연구로 조미원 등은 원격수업시 인식 및 만족 도 조사연구[3], 김정수 등은 Q방법론을 통해 비대면 수업 에 대한 대학생들의 주관적 인식에 대해 4개 유형으로 분류 연구하였고[4], 김성일은 비대면 온라인 수업 환경에서 학 습 주도성 증진 방안에 대하여[5], 조승희는 실시간 비대면 수업 경험을 통해 긍정적인 요소와 부정적인 요소를[6], 김 은혜 등은 비대면 원격수업에서 학습자들의 학습 참여활동 에 따른 학업성취도 차이분석을 통해 교수자의 온라인 수 업환경에서 전략적 수업설계를 강조하고 있다[7]. 둘째, 비 대면 온라인 수업에서 실시간과 비실시간 수업에 관한 비 교연구로 하수연은 학습관리시스템(learning management system; LMS)기반 수업의 활용방안[8], 임철일 등은 실시 간 비대면 수업을 유형별로 진행된 수업을 바탕으로 수업설 계 전략에 관한 사례연구[9]를 노영 등은 구글 클래스룸을 활용한 수업에서 학습자 만족에 영향을 미치는 요인에 관한 연구[10] 등 이와 관련한 많은 논문들이 발표되었다. 셋째, 구체적으로 학과의 전공학생들을 대상으로 비대면 수업에 대한 조사 연구로 김민철 등은 방사선전공 학생들을 대상으 로 인터넷을 이용한 전공 교과의 만족도 연구[11], 오은진 등은 간호학과 전공 학생들을 대상으로 간호대학생의 비대 면 수업 참여 경험[12], 신애리 등은 일부 치위생학과 신입 생을 대상으로 대면/비대면 교육환경에서 학습만족도[13], 남선우 등은 기독교교육과 학생들을 대상으로 에듀테크를 이용하여 비대면 실시간 수업에 적용한 사례연구[14], 서정 아 등은 교양영어 수업에 대한 학생들의 인식 연구[15], 장 진희 등은 디자인 전공자의 조형 교과목 비대면 수업방법론 [16], 김병민 등은 예체능 전공 대학생의 온라인수업에 대한 학업 정서가 학습성과에 미치는 영향[17] 등 코로나-19로 인해 다양한 비대면 온라인수업 환경에서의 연구 논문들이 발표되고 있다.

    본 연구 논문은 방사선학 전공 학생들을 대상으로 면대면 & 비대면 수업에 관한 연구[18]에 대한 연속된 주제로 2년 간 비대면 온라인수업환경에서 방사선학 전공 학생들이 느 끼는 수업환경에 대한 설문을 통해 학년별 만족도를 알아보 고 위드 코로나 상황에서 면대면 수업이 진행될 때 비대면 수업의 장점을 이용하여 방사선 전공 학생들의 수업방식에 대하여 알아보고자 한다. 이를 통해 향후 면대면 수업이 이 루어질 때 면대면 수업과 병행하여 온라인 비대면 수업의 장점을 융합시켜 방사선학 전공 학생들의 수업 효과와 만족 도를 높이는 자료로 활용하는데 목적이 있다.

    Ⅱ . 대상 및 방법

    1. 대 상

    수도권 소재 대학 방사선과 재학 중인 “2학년 90명, 3학 년 84명” 총 174명을 대상으로 설문을 진행하였으며, 이중 응답한 학생은 “2학년 65명, 3학년 68명”으로 총 응답 인원 133명이다. 한편, 2학년의 경우 47명인 경우는 휴학 및 복 학생이 18명으로 올해 처음 비대면 수업에 참여한 학생들로 해당 문항 질의에 따라 설문 결과에서 제외하였다. 설문 대 상자들의 경우 2021년 코로나-19로 인해 2년간 비대면 수 업환경에서 방사선 전공 교과를 수강 경험한 학년으로 이들 은 선행 연구인 2021년 발표한 방사선전공 학생들을 대상으 로 면대면 & 비대면 수업에 관한 연구[18]에서 변화된 정도 를 비교할 수 있다.

    설문에 대한 응답 방식은 구글 설문지 (Google Forms)로 제작하여 2021년 8월 10일부터 8월 19일까지 10일간 학년 별 단톡방과 SNS를 이용하여 응답 결과를 얻었고, 연구대 상자들의 특성은 Table 1과 같다.

    2. 방 법

    설문지 내용 구성은 크게 3개의 분류로 나누었으며, 첫째 실시간 비대면 강의 관련 설문 9문항, 둘째 교수자 강의 관 련 3문항, 세 번째 분류로 코로나 종식 이후 강의 관련 2문 항으로 구성되어 총 14개 문항이다<Table 2>. 설문 내용에 대한 응답 방식은 선택형(Optional) 9개 문항과 비대면 강 의의 장점 및 단점, 비대면 강의에서 개선점과 가장 만족한 강의 방식에 대한 응답 등 5개의 문항은 학생들의 자유로운 의견을 수집하기 위해서 서술형(Descriptive) 응답 방식을 활용하였다.

    3. 평가 방법

    각 항목에 대한 평가는 선택형 문항의 경우 5점 리커트 척도(Likert scale)를 이용하여 “1점은 매우 그렇지 않다”에 서 “5점은 매우 그렇다”로 구성하여 평균을 산출하였다. 전 체 항목에 대한 2, 3학년별 설문에 대하여 리커트 척도 평균 을 이용하여 SPSS 프로그램을 이용하여 독립표본 T 검정을 시행하여 분석하였다.

    Ⅲ. 결 과

    1. 실시간 비대면 강의

    1) 대면 강의에서 비대면 강의로의 대체

    기존의 대면 강의를 비대면 강의가 대체하고 있는가에 대 해 2학년은 ‘그렇다’가 35.2%, 3학년은 ‘보통이다’가 33.8% 로 높은 응답률을 나타냈다<Table 3>. 또한, 리커트 척도 평균에서 2학년은 평균 3.2점, 3학년은 평균 2.8점으로 나 타났다.

    2) 비대면 강의의 적응

    비대면 강의에 적응하였다고 생각하는가에 대해 2학년은 ‘매우 그렇다’가 36.9%, 3학년도 ‘그렇다’가 38.2%로 높은 학년과 상관없이 높은 응답 비율을 나타냈다<Table 4>. 또 한, 리커트 척도 평균에서 2학년은 평균은 3.6점, 3학년은 평균은 3.9점으로 나타났다.

    3) 작년과 비교해 본인의 수업 태도에 대한 발전

    작년과 비교하여 학생 본인의 수업 태도가 발전하였는가 에 대해 ‘보통이다’ 응답 비율이 2학년 47.9%, 3학년 42.6% 로 각 학년에서 모두 가장 높았다<Table 5>. 또한, 리커트 척도 평균에서 2학년은 평균 3.2점, 3학년은 학생 평균 3.2 점으로 동일한 평균 점수로 나타났다.

    4) 면대면 강의에서 비대면 강의 변화에 따른 학업

    강의 방식의 변화가 학업 성취도에 영향을 미쳤다고 생각 하는 질문에 ‘그렇다’는 응답이 2학년 41.5%, 3학년 52.9% 로 두 학년에서 모두 가장 높았다<Table 6>. 또한, 리커트 척도 평균에서 2학년은 평균 3.6점, 3학년은 평균 3.9점으 로 나타났다.

    5) 2021년도와 비교해 2022년도의 비대면 강의 시 성적

    2021년도의 비대면 성적과 올해의 비대면 성적을 비교하 였을 때 향상되었는가에 대한 응답으로 ‘그렇지 않다’가 가 장 높았으며, ‘그렇다’의 비율이 2, 3학년 모두 21∼22% 내 로 비슷하게 나타났다<Table 7>. 또한, 리커트 척도 평균에 서 2학년은 평균 2.8점, 3학년은 평균 3.2점으로 나타났다. 한편, 이번 문항의 응답 수가 2학년의 경우 47명인 이유는 휴학 및 복학생이 18명으로 올해 처음 비대면 수업에 참여 한 학생들로 질의에서 제외하였다.

    6) 비대면 강의와 국가시험 준비에 대한 영향

    비대면 강의가 국가시험 합격률에 부정적인 영향을 미친 다고 생각하는지에 대하여 2학년의 경우는 ‘보통이다’와 ‘그 렇다’의 비율이 35.4%로 높게 응답하였으며, 3학년은 ‘그렇 다’의 비율이 38.2%로 가장 높았다<Table 8>. 또한, 리커트 척도 평균에서 2학년은 2.9점, 3학년은 3.3점으로 나타났다.

    7) 비대면 강의의 장점에 대한 사항

    비대면 강의의 장점에 대한 서술형 질의에서 2, 3학년 모 두 ‘시간적 자유’가 각각 60, 64.7%로 가장 높았으며, ‘공간 의 자유’가 각각 30.8, 25%로 그 뒤를 이었다<Table 9>.

    8) 비대면 강의의 단점에 대한 사항

    비대면 강의의 단점에 대한 서술형 질의에서 2학년은 ‘실 습의 부족’이 43.1%로 가장 높았으며, 3학년은 ‘집중력 저 하’가 47.1%로 가장 높았다<Table 10>.

    9) 비대면 강의에서 개선할 사항

    비대면 강의와 관련하여 개선되어야 할 부분에 대하여 서 술형 질의에서 2학년은 ‘강의 업로드’가 30.8%로 가장 높게 응답하였으며, 3학년은 ‘네트워크 안정’이 47.1%로 가장 높 았다<Table 11>.

    2. 교수자 강의 관련

    1) 비대면 수업 시 2021년과 비교하여 교수자의 강의 자료 준비

    2021년과 비교하여 강의 자료 준비가 발전되었는지에 대 해 2학년은 ‘보통이다’가 47.9%, 3학년은 ‘그렇다’가 48.5% 로 각 학년에서의 최고 응답 비율이 다른 문항이었다<Table 12>. 그러나 리커트 척도 평균에서 2학년은 평균 3.5점, 3 학년은 평균 3.6점으로 나타났다.

    2) 비대면 수업 시 2021년도와 비교하여 교수자의 강의의 질

    2021년도와 비교하여 2022년 강의의 질이 향상되었는가 에 대한 응답으로 ‘보통이다’의 비율이 2학년 40.8%, 3학년 41.2%로 비슷했다<Table 13>. 또한, 리커트 척도 평균에서 2학년은 평균 3.1점, 3학년은 평균 3.3점으로 나타났다.

    3) 가장 만족한 강의 방식

    만족했던 강의 방식에 대한 응답으로 2학년은 ‘실시간 강 의’가 63.1%로 가장 높았고, 3학년은 ‘강의 사전녹화 후 실 시간 강의에 활용’이 42.6%로 가장 높았다<Table 14>.

    3. 코로나 종식 이후 강의 관련

    1) 코로나 종결 이후 비대면 강의의 도움

    코로나 종결 이후에 비대면 강의의 도움 가능성에 대하여 ‘그렇다’라는 응답이 2학년 35.4%, 3학년 33.8%로 두 학년 모두에서 가장 높았다<Table 15>. 또한, 리커트 척도 평균에 서 2학년은 평균 3.2점, 3학년은 평균 2.9점으로 나타났다.

    2) 코로나 종결 이후 희망하는 강의 형태

    코로나 종결 이후에 희망하는 강의 형태에 대하여 2학년 은 ‘온라인 수업(실시간)’에 대한 응답 비율이 47.7%였고, 3학년 학생은 ‘대면수업과 온라인 수업(실시간) 병행’에 대 한 응답 비율이 51.5%였다<Table 16>.

    4. 설문지 분석

    학년 간 설문조사 응답 결과에 따른 리커트 5점 척도 평 균값을 비교하기 위해 SPSS 프로그램을 이용하여 독립표본 T 검정을 실시하였다(Table 17). 결과에서 유의수준 0.388 로 두 학년간 설문조사 내용에 따른 유의미한 결과를 나타 내지는 않는다.

    Ⅳ. 고 찰

    비대면 수업의 장점으로 시간적, 공간적 제한 없는 편리 성에 많은 응답을 하였는데 이은준 등 선행연구와 동일한 만족도를 나타낸다[19]. 비대면 수업의 단점으로 학년과 관 계없이 공통적으로 집중도가 떨어진다는 것이다. 이종식은 비대면 수업의 사용자 경험에 관한 연구에서 학습자가 비대 면 화상수업에서 일정 수준에 이르러 오히려 불쾌감을 느껴 집중도가 떨어지는 언캐니 밸리(Uncanny valley)의 증상이 나타나 1시간을 기준으로 비대면 화상수업의 호감도가 떨어 져 교수자와 학습자 간의 공감대 형성을 강조하였다[20]. 한편, 윤혜림은 비대면 온라인수업에서 디지털 리터러시 (digital literacy) 역량을 교수자에게 요구하였는데 이는 교수자가 강의할 교육내용을 온라인상에 적절히 전달할 수 있는 콘텐츠를 제작할 수 있는 능력을 강조하였고[21], 이소 민은 비대면 수업의 만족도에 영향을 미치는 요인으로 교수 자 차원의 수업 준비와 대학 차원의 준비, 수업 운영 방식에 서 교수자의 수업 준비가 만족도에 가장 큰 요인이라고 하 였다[22]. 따라서, 방사선전공 교과 관련 일반적으로 강의 시간이 최소 2시간부터 많게는 4시간까지 이루어진 전공 교 과수업에서 교수자는 충분히 디지털 기술을 능숙히 하여 다 양한 수업 설계 및 매체를 활용하여 수업에 적용한다면 비 대면 수업에서 학생들의 집중력 향상을 가져와 학업 성취도 도 향상될 것이다.

    한편, 비대면 온라인 수업환경에서 다양한 수업방식을 제 시하고 있는데 그중 플립 러닝(flipped learning)방식에 대 해 김지심 등은 플립러닝의 학습효과에 대해 발표하였고 [23], 성미영 등은 사회계열과 공학계열 교과목을 중심으로 플립러닝 적용 사례연구를 통해 교수자와 학생들 간의 소통 과 수업 집중력이 향상된다는 결과를 발표하였다[24].

    본 연구의 결과에서 비대면 강의에 대한 적응은 코로나 -19로 인해 연속된 비대면 강의로 학생들은 대체로 적응하 였고, 이와 더불어 수업 태도도 학생들은 학년과 구분 없이 전년도 보다 향상되었다. 그러나 학생들은 학업 성취도에서 만족스럽지 못한 결과를 나타내어 이에 따른 결과로 비대면 원경 수업환경에서 학생들은 성적 향상을 가져오지는 못하 였다. 따라서 학업 성취도와 관련하여 면대면 수업에서 비 대면 수업으로의 전환으로 응답 학년 모두 영향을 받았으 며, 특히, 2학년의 경우 3학년보다 성적이 낮아졌다는 결과 를 얻었다. 김병민은 비대면 온라인수업 시 학생들이 전공 분야의 관심이 높고 즐거움과 자부심 등 긍정적인 정서는 학업 성취도에 대한 인지 수준이 높아져 교수자는 학습자의 긍정적인 정서를 올리기 위해 다양한 방법을 활용하고 학습 자 간의 교감을 통해 긍정적인 정서를 강화하여야 한다고 강조하였다[17]. 한편, 학습자의 학업 성취도는 수업 만족도 와 연결되는데 노영 등은 비대면 온라인수업에서 학습자의 만족도에 교수자와의 상호작용과 흥미도, 매체 활용, 효능 감에 대해 실증 분석하였는데 매체 활용 효능감이 높아질수 록 학습자의 만족이 높다는 것을 발표하였다[10]. 윤옥한 등 은 “흥미도”는 어떤 대상에 감정을 수반하는 관심의 정도 [25]로 비대면 온라인 수업환경에서 흥미도를 높이는 방법 으로 온라인 강의 방식에서 녹화방식이 아닌 실시간 화상 강의인 구글(Google) 미트(meet)나 줌(Zoom) 등을 이용하 여 면대면 수업 형태로 소통의 기회를 갖는 것이 중요하다 하겠다.

    교수자의 강의 관련하여 응답 학년 모두 지난 학기와 비 교해 향상되었다는 응답을 하였는데 이는 비대면 온라인 환 경에서 교수자들 또한 점점 적응한다는 것일 것이다[26]

    코로나 상황이 종결된 이후 비대면 강의에 대해 학생들은 작년 조사에서는 대면 수업을 원하는 비중이 높았는데, 이 번 조사 결과는 비대면 온라인 실시간 수업방식과 대면수업 과 실시간 비대면 혼합방식을 원하는 것으로 조사되었다. 이에 따라 방사선 전공학과의 경우 방사선 촬영 실습 등 실 습교과목에서는 대면 수업을 이론 중심 교과목에는 비대면 실시간 교육을 진행하는 것이 좋을 것으로 사료된다.

    방사선 전공학과는 방사선사 국가고시를 준비해야 하는 데 비대면 강의는 학생들이 국가고시를 준비하는데 불안감 을 가지고 있다고 하겠다.

    Ⅴ. 결 론

    이번 연구는 2021년부터 진행된 비대면 원격수업을 경험 한 학생들이 학년을 거듭하면서 비대면 수업의 만족도를 조 사 연구하였다. 코로나-19 팬데믹 이전 수업방식은 학생들 이 직접 대학 강의실에 와서 교수자와 면대면 수업을 진행 하였는데 이번 코로나-19로 인해 비대면 원격수업은 이제 필수적인 수업 형태로 자리 잡았다. 설문조사 결과, 고학년 일수록 비대면 강의에 대한 적응을 잘하는 것으로 나타나고 있고, 이는 비대면 강의 시 성적 향상 여부에서 고학년이 높 음을 알 수 있었다. 교수자의 강의 자료 준비와 강의 질 관 련해서는 교수자들도 비대면 수업환경에 어느 정도 적응하 는 것으로 나타났다. 그러나 고학년일수록 대면 강의에서 비대면 강의로의 대체 여부는 고학년일수록 만족하지 못한 것으로 나타난다. 이는 방사선 전공학과 학생들의 경우 반 드시 국가고시를 준비해야 하는 학생들로 비대면 수업환경 에서 학생들이 느끼는 불안감을 알 수 있었다. 이에 따라 교 수자들은 비대면 원격수업에서 전공 교과 강의에 세심한 준 비가 필요하며, 학생들에게 방사선 전공 교과에 대한 이해 와 학습을 위해 다양한 매체 및 활용과 플립러닝 방식의 강 의 진행 등으로 비대면 원격수업 환경에서 방사선 전공 학 생들에게 수업에 대한 만족도를 높일 필요가 있다. 향후, 면 대면 수업이 진행되더라도 전공 교과의 특성을 파악하고 비 대면 원격수업이 가능한 교과에서는 적극적으로 활용하는 것을 고려해 볼 수 있겠다. 본 연구 논문이 방사선학과가 개 설된 전체 재학생을 대상으로 하지 못하여 일반화할 수는 없지만, 수도권 소재 일부 방사선 전공 학생을 대상으로 진 행한 만족도 조사로 비대면 원격수업에 대한 방향 설정에 기초자료로 활용될 것으로 사료된다.

    Figure

    Table

    Characteristics of the subjects

    Answers of the survey

    Replacement on face-to-face lectures with non-face-to-face lectures

    Application of non-face-to-face lectures

    Development of class attitude compared to last year

    Improvement of academic performance due to changes in non-face-to-face lectures from face-to-face lectures

    Improvement of performance during non-face-to-face lectures in 2022 compared to 2021

    Influence of non face to face class on preparation for national examination

    Advantage factors on non-face-to-face lectures

    Disadvantage factors on non-face-to-face lectures

    Improvements that should be given on non-face-to-face lectures

    improved preparation of lecture materials by instructors compared to 2021 non-face-to-face classes.

    improved quality of l instructor’s lecture compared to 2021 non-face-to-face classes.

    The most satisfying lecture method

    Can non-face-to-face lectures be helpful even after the end of COVID-19?

    Preference of lecture method after COVID-19 is over

    Statistical analysis result for T-test

    Reference

    1. Zhu N, Zhang D, Wang W, Li X, Yang B, Song J, et al. A novel COVID-19 from patients with pneumonia in China, 2019. New England Journal of Medicine. 2020;382(8):727-33.
    2. Wang F, Zhang C. What to do next to control the 2019-nCov epidemic. The Lancet. 2020;10222(395): 391-3.
    3. Jo MW, Kim JY. A Study on the Perceptions and Satisfaction of Online classes at K University in the Non-face-to-face Era. Humanities. 2021;12(2): 1399-414.
    4. Kim JS, Kim JY, Ik HJ. Undergraduate Students’ Subjective Perception Types towards Non-faceto- face Remote Classes. Subjectivity Study. 2021; (55):25-46.
    5. Kim SI. A Study on the Improvement of Learning Initiative in the Online Non-face-to-face Classes Caused by Covid-19 Pandemic. Humanities. 2021; 12(1):913-28.
    6. Cho SH. A Study on the Real-time Non-faceto- face Participatory Classes Experience of University Students. Humanities. 2021;12(4):1131-44.
    7. Kim EH, Lee JM. An Analysis of the Difference in Academic Achievement by Learning Participation Activities: Focused on the Smart Class of A University, which is a non-face-to-face class due to COVID-19. Commercial Education Research. 2021;34(6):1-21.
    8. Ha SY. The Method to Improve the Effectiveness, Efficiency, and Attractiveness of LMS Based Non-face-to-face On-line Instruction. Humanities. 2021;12(5):1643-58.
    9. Lim CI, Kim, MJ, Park, JH, Bae YJ, Im JY. Instructional Design Strategies for Synchronous Online Instruction in Various College Courses. Educational Engineering Research. 2021;37(2): 459-88.
    10. Noh Y. A Study on Factors affecting Learner’s Satisfaction with Google. Customer Satisfaction Management Research. 2019;21(4):71-89.
    11. Kim MC, Huang YX, Choi JH, Jung HR, Park HR, Yang ON. Actual Use of Internet in Curriculum Study of Students in Radiology. Journal of Radiological Science and Technology. 2018;41(5): 487.
    12. Oh EJ, Park S. Nursing Students’ Experience of Participating in Non-face-to-face Classes. Humanities, Social Studies. 2021;12(3):2163-78.
    13. Shin AR, Shim HS. A Learning Satisfaction in face-to-face/non-face-to-face Educational Environments of New Dental Hygiene Students. The Journal of the Korea Contents Association. 2021;21(6):804-13.
    14. Nam SW. A Study on the Design and Development of Interactive Non-Face-to-Face Real-Time Classes using EduTech: A Case Study of Christian Education Class. Journal of Christian Education in Korea. 2021;66:343-82.
    15. Seo JA. A Study of Students' Perception of Non-face-to-face Online General English Classes due to COVID-19. Humanities and Social Studies. 2021;12(4):3041-54.
    16. Jang JH. Methodology: Non-face-to-face teaching for formative art courses of the design majors. Journal of the Korean Convergence Society = Journal of the Korea Convergence Society. 2021;12(1):219– 23.
    17. Kim BM. The effects of Learning Emotion for online classes of College students Majoring in Arts and Sports on Learning Pademic situation. The Korean Journal of Physical Education. 2021;60(2):281-98.
    18. Son JH, Kim HS. A Survey on Face-to-face & Non-face-to-face Classes for Students Majoring in Radiology. Journal of Radiological Science and Technology. 2021;43(6):511-8.
    19. Gilton Lee EJ. Difference of Course Satisfaction by Anxiety Patterns and Perception of Obstacles in Online Courses. Counselling & Psychological Services of Sogang University. 2021;34(2):61-79.
    20. Lee JS. A Study on the User Experience of Non-face-to-face Class in Pandemic COVID-19. Journal of Knowledge Technology and Systems (JKITS). 2021;16(3):577-93.
    21. Yoon HR. Study on the Instructors’ Competence of Digital Literacy for Online Classes in the Untact Era. The Journal of Humanities and Social Sciences. 2021;12(2):2625-38.
    22. Lee SM, Kim KR. A Study on Factors Affecting the Satisfaction of Non-face-to-Face Class in a University: Focusing on the mediating effect of class participation. Research on Educational Methods 2021;33(2):341-61.
    23. Kim JS, Ahn YJ, Kim KA. Investigating Educational Effects of Flipped Learning in Real-time Online Programing Course. Proceedings of the Korean Society of Computer Information Conference. 2020;7:591-2.
    24. Sung MY, Park YH, Jung SY. A Case Study on the Application of Flipped Learning in Untact Online Classes: Focusing on Social and Engineering Subjects. The Journal of the Korea Contents Association. 2021;21(5):310–23.
    25. Yoon OH, Lee YO. Influence of Concept Clarification Test Instructional Strategy on University Student’s Academic Achievement and Course Interest in Team Based Learning. Korean Journal of the Learning Sciences. 2014;8(2):1-18
    26. Kim JY, Kim EJ. A study on the Types of Perceptions on Non-face-to-face Lectures of University Students-Focusing on the Case of K University. Thinking Ability Development. 2021;17(1):31-57.