수원이혼변호사 24명 서술형 답안, 27초 만에 ‘채점 끝’···그런데 이 점수, 믿을 수 있을까[AI에 교육을 먹이면]

페이지 정보

작성자 황준영 날짜25-12-22 21:58 조회0회 댓글0건

본문

수원이혼변호사 초등학교 4학년 학생 24명의 글쓰기 답안지 채점이 27초만에 끝났다. 학생들이 ‘어린이날 기념 학급 행사로 무엇을 하면 좋을까’라는 주제로 쓴 글쓰기의 초벌 채점을 인공지능(AI)은 1분도 안 걸려 해냈다. AI는 675자 안팎의 학생별 피드백까지 작성해줬다. 경기도교육청 ‘하이러닝’에 탑재된 AI 평가 도구에 학생들의 답안지를 먹였더니 나온 결과였다. 경기 남양주시의 초등학교 4학년 담임인 김승혁 교사는 “평가 시간을 줄인 만큼, AI가 정리한 피드백을 보고 다음 수업 준비에 공을 들일 수 있다”고 했다.
AI는 27초만에 채점 결과를 내놓지만, AI에 평가 기준을 제시하고 점수에 최종 책임을 지는 것은 여전히 교사의 몫이다. 하이러닝이 채점한 초벌 점수는 격자 무늬와 괄호로 표시됐다. 교사가 최종 ‘클릭’을 해야 점수로 인정된다. 경기 안양시 고등학교의 국어과 A교사는 “100명씩 수행평가를 채점하는데 대입과 연동되다 보니 학생·학부모·교사 모두채점 결과에 민감한 편”이라며 “AI를 사용하나 안 하나 들어가는 노동량은 똑같다”고 말했다.
교육 분야에서 AI 사용이 확산하는 것은 학생들의 과제와 학습으로만 국한되지 않는다. 시도교육청들은 AI를 평가 도구로 활용하는 것에 빠르게 움직이고 있다. 올해 2학기 경기도교육청을 시작으로 서울·충남·대구·광주교육청이 AI 평가 도구를 도입하려 준비 중이다. 민간 에듀테크의 채점 서비스를 유료로 이용해 본 교사도 적지 않다.
경향신문은 교육청과 민간 에듀테크의 AI 평가 도구를 이용해 본 초·중·고 교사 15명에게 사용기를 물었다. 교사에 따라 생산성 향상을 체감하는 정도는 엇갈렸다. 학생 개인마다 “피드백을 줄 수 있다”는 점은 장점으로 꼽혔지만, 교사가 직접 채점할 때보다 오히려 공력이 더 든다고 토로하는 이들도 적지 않았다. 평가자로서 AI의 역할을 어디까지 허용할 지에서부터 윤리, 정보보호, 책임 소재에 이르기까지 사회적 합의가 필요하다고 했다.
‘AI 평가’는 서·논술형 평가 확대 기조를 타고 급부상했다. 내신에서 논술 문항이 많아진 만큼 교사가 평가에 할애하는 시간과 부담이 커졌기 때문이다. 교육 당국은 AI 평가 도구를 ‘업무 경감’의 수단으로 내세웠다. ‘평가 노동’이 줄어드는 만큼 그 시간에 피드백이나 다른 업무를 함으로써 교사의 생산성은 향상된다는 논리다. 차정인 국가교육위원장은 지난 12일 대통령 업무보고에서 “(서논술형 평가의) 답은 AI에서 가져올 수 있다”고 했다. 정근식 서울시교육감도 학습자 주도의 서·논술형 평가를 확대하기 위해 AI 자동채점 모델을 개발한다고 했다.
다과목, 다학급을 맡는 교사들은 평가 생산성이 높아졌다고 했다. 경기 고양시의 중학교에서 국어를 가르치는 교사 B씨는 이번 학기 ‘주장하는 글쓰기’ 수행평가에서 AI 평가 도구를 활용했다. 이전과 가장 큰 차이는 피드백을 여러 번 줄 수 있다는 점이었다. 4개 학급 학생들이 손으로 쓴 초고를 스캔해서 우선 피드백을 줬고, 고쳐쓰기 수업을 진행한 뒤에 다시 한번 피드백을 줬다. B씨는 “기존에 한 학생에게 들이던 시간이 1시간이라면 AI 도구를 썼을 때 시간이 10~20분으로 줄어들었다”고 했다.
반대로 교사의 머릿속 채점 기준을 AI에게 ‘먹이는’ 과정에 손이 많이 간다고 토로하는 이도 있었다. 고교 국어 교사 A씨는 “모든 과제물을 스캔하는 과정부터 거치고 교육과정에 맞춰 채점 기준을 넣어야 한다”고 했다. 요약, 논리성, 독창성, 주장과 근거의 일목요연함 등 서론-본론-결론마다 채점요소를 넣어주는 작업도 이어진다. 그는 “급간의 개수를 넣고 배점을 맞추고 다시 조정하는 작업이 번거로워 주변에서 많이들 안 쓴다”며 “평가 전문성이 있는 분들은 AI가 총 소요 시간을 줄여준다고 생각하지 않는다”고 했다.
생활기록부 작성에 AI를 활용하는 경우도 많다. 생기부는 대학 입시까지 영향을 미치는 자료로, 교사들의 업무 부담도 큰 것으로 알려져 있다. AI로 생활기록부 초안을 만든 뒤, 교사가 최종검토하는 식으로 활용하고 있었다. 유료 서비스를 사용해 본 중학교 영어 교사 C씨는 “무에서 유를 창조할 때보다 힘이 훨씬 덜 들었다”며 “반복되는 표현을 사용하지 않기 위해 작은 표현 하나 고민하는 시간이 줄고 인간이 생각할 수 있는 한계치가 확장되는 느낌이었다”고 했다.
평가의 보조도구로서 AI를 활용하는 경우는 많지만, 채점자로서의 AI를 신뢰하는 교사는 많지 않았다. 하이러닝이나 유료 AI 평가 도구를 몇 번 사용해 본 뒤 “평가에는 쓰지 못하겠다”고 말한 교사들이 여럿 있었다. 16년차 고등학교 교사 D씨는 “같은 학생의 답안을, 동일 채점 요소를 넣고 돌려도 돌릴 때마다 점수가 다르게 나온다”고 했다.
D씨가 사용한 유료 서비스는 경기도교육청 하이러닝에 도입된 E사 모델로, 언어모델의 생성형 AI를 기반으로 한다. AI가 학생의 답안을 이해하고 채점하는 것이 아니라 채점 기준과 내용이나 구조가 유사하다면 확률상 그럴듯한 평가를 하는 식이다. 하이러닝에서 같은 답안을 먹여 채점을 해봐도 미세하게 차이가 났다. 고교 국어교사 중에는 E사 서비스가 “상·하위권 학생 채점은 비교적 정확하지만 중위권 학생 평가는 정확도가 떨어져 평가 설계가 고민된다”고 평가한 이들도 있었다.
이 때문에 AI 평가 도구를 쓸 때에는 교사 개인이 평가할 때보다 채점 기준이 훨씬 구체적이고 명확해야 했고, ‘AI가 인식할 수 있는가’를 항상 염두에 둬야 했다. 예컨대 AI에게 ‘다양한 접속사 표현을 적절하게 사용했는지’ 평가하게 하려면 교사가 생각하는 ‘다양함’과 ‘적절함’을 어떻게 정량적으로 수치화해서 표현할지 정해야 하는 식이다. ‘결론적으로’라는 표현이 들어간다고 해서 AI 평가 도구가 ‘결론을 충실히 작성했다’고 판단하지 않게 구체적인 평가설계도 필요했다.
AI 평가 도구를 써본 교사들은 장단점을 분류하기 시작했다. 이들은 AI 채점을 믿을 수 있는 영역과 그렇지 않은 부분을 나눴다. 국어 과목에선 AI가 채점 요소에 기재된 키워드를 학생의 문장·문단에서 찾아내는 것은 잘했지만, 글을 총체적으로 읽고 평가하는 것은 맞지 않다고 했다.
수학은 아직 AI 채점 도입이 어려운 과목 중 하나다. 제곱을 표기한 손글씨도 인식하지 못 한다. 영어는 AI가 어법을 엄격하게 채점하지만 문장 표현이나 부사어 활용 등은 너그럽게 채점한다는 인식을 받는다는 평가를 받는다.
지난달 경기교육청의 하이러닝 AI 평가 홍보 영상은 ‘교사 조롱’이 담겼다는 비판 속에 논란이 됐다. 영상 속 교사는 “AI가 채점 도와준 거니까 너희들 할 말 없지?”라고 했다. AI 채점에는 이의 제기가 필요없다는 의미가 담겼다.
교육 당국은 AI 평가 도구가 ‘주관이 배제돼 있으며 공정하고 일관성을 유지한다’(경기도교육청 하이러닝 사업계획서)고 주장한다. 학생 개인에 대한 교사의 주관적 평가나, 채점 순서에 따른 유불리가 배제되기 때문에 더 객관적일 수 있다고 보는 것이다.
문제는 ‘AI가 더 믿을 만 하다’는 전제가 깔리는 순간 교사의 평가와 AI의 평가 간 구분이 모호해진다는 점이다. ‘AI의 환각 문제가 개선되면’ ‘AI의 채점 일치도가 향상된다면….’ 향후 교사의 평가권이 AI에 먹힐 수도 있지 않을까 하는 우려가 나오기도 했다.
경기의 17년차 고등학교 국어교사 F씨는 “이미 교사의 평가권이 어느 정도 침범됐다고 체감한다”고 했다. F씨는 “절대평가 과목이거나 교사가 세운 평가 기준과 맞다는 신뢰도가 점점 쌓인다면 AI 평가 도구로 (교사의 평가를) 대체하는 경향이 충분히 생길 것”이라며 “AI 도구는 ‘양날의 검’”이라고 했다. 평가 업무 부담을 나눌 수 있는 보조 도구가 생기는 것은 반길 일이지만, 교사의 평가 권한이 점점 줄어든다고 느껴질 때는 조심스럽다는 것이다.
교육 당국은 ‘AI는 어디까지나 교사의 보조 수단’이라고 강조한다. 서울시교육청 관계자는 “AI가 발전해서 인간처럼 채점을 해준다고 하더라도 교사마다, 수업마다 기준이 있기 때문에 교사가 기준을 변경해갈 수 있을 것”이라며 최종 평가권은 교사에게 있다고 했다. 실제 경기·서울교육청의 AI 평가 도구 모두 교사가 최종 확인을 해야만 넘어가는 식으로 기능이 구현됐다.
현장에선 ‘AI 보조’의 의미나 어디까지 ‘AI가 보조할 수 있는지’ 정의가 교사마다 달라 혼란스러워 했다. 충남의 초등학교에 재직 중인 송근상 교사는 AI 채점은 나이스에 기재되지 않는 수행평가에만 참고용으로 활용한다고 했다. 반면 경기에서 근무하는 초등교사 G씨는 AI 평가 점수를 활용할뿐더러 AI의 피드백 내용을 그대로 복사해 학생과 학부모에게 제공한다고 했다. 송 교사는 “AI의 평가를 참고해서 쓴다는 것의 기준이 사회적으로 아직 합의되지 않은 모호한 부분”이라며 “교육부가 AI 교육을 얘기하지만 어떤 주체와, 어떤 식으로 협의된 내용인지는 알 수 없다”고 했다.
합의되지 않은 것은 AI의 보조 범위만이 아니다. 교사들은 평가에서 AI를 활용하는 방법부터 윤리, 정보보호, 책임 소재까지 모두 앞으로 정해가야 할 쟁점이라고 했다. 일례로 올해 하반기 서울의 한 고등학교에선 한 교사가 지필 고사 문항을 사설 AI 평가 도구를 이용해 검토한 것이 알려졌다. 시험 문제를 사진 찍어 사설 AI 평가 도구에 넣어 문제 유출 우려가 제기됐다. AI 평가 도구를 이용했는데 문제가 평가 전 새어나간다면 책임은 누구에게 있는 것일까. 새로운 도구의 등장에 교사들의 활용 수준과 철학을 시험에 들게 할 예외적인 상황은 언제든 발생할 수 있다.
대장동 개발비리 사건 항소 포기 결정을 두고 검찰 지휘부를 비판한 뒤 인사에서 사실상 ‘강등’된 정유미 검사장이 법정에서 “역사적으로 유례없는 인사”라며 정부의 인사명령이 위법하다고 주장했다. 법무부 측은 정 검사장의 언행이 표현의 자유를 넘어 “상급자에 대한 멸시”였으며 인사 조치는 결정권자의 재량이라고 반박했다.
서울행정법원 행정5부(재판장 이정원)는 22일 정 검사장이 제기한 인사명령 집행정지 신청에 대한 심문기일을 열었다. 정 검사장은 법정에 직접 나와 “법무부가 역사적으로 전례 없는, 굉장히 이례적인 인사를 했다”며 “개인 의견 표명을 하고 인사를 진행한 것이라 부적절하다”라고 주장했다.
정 검사장은 정부·여당의 수사·기소 분리 등 검찰개혁 구상과 대장동 항소 포기 결정 등에 꾸준히 비판적인 목소리를 내왔다. 법무부 연수위원이었던 그는 지난 11일 법무부 검찰 고위 간부 인사에서 대전고등검찰청 검사로 전보됐다. 사실상 보직이 강등된 셈이다. 이에 정 검사장은 지난 12일 정성호 법무부 장관을 상대로 인사명령 처분 취소소송을 제기했고 본안소송 판결이 나기 전까지 처분을 임시 중단하는 ‘집행정지’도 함께 신청했다.
정 검사장은 이번 인사조치가 검찰청법 28·30조에 반한다고 주장한다. 해당 규정은 대검검사급 보직을 검찰총장과 고검장, 대검 차장, 법무연수원장, 대검 검사, 법무부 기조실장·법무실장·검찰국장, 법무연수원 연구위원 등으로 규정하고 있다. 대검검사급 검사 보직이 법으로 정해져 있는데, 여기에 포함되지 않는 고검 검사로 전보하는 것은 부당하다는 취지다. 그는 이날 심문이 시작되기 전에는 기자들과 만나 “무리한 인사를 하게 된 배경에는 미운털이 박혔으니 그런 거 아니겠느냐”며 대장동 항소 포기 결정에 비판 의견을 냈던 게 이번 인사조치의 발단이었다고도 주장했다.
법무부 측은 검찰청법상 검사의 직급이 검찰총장과 검사로만 나뉘기 때문에 정 검사장에 대한 인사는 보직 변경 개념의 적법한 조처였으며, 인사 발령으로 회복하기 어려운 손해가 발생한 게 아니라고 주장한다. 법무부 측 대리인은 검찰청법 30조 등에 대해 “모든 대검 검사를 그 보직에 보임하라는 의미가 아니다”라며 “인사 명령은 임명권자의 재량”이라고 말했다. 그러면서 “정 검사장이 검사 내부망인 이프로스에 올린 글을 보면 단순한 의견표명을 했다고 보기 어렵고, 공무원의 복종 의무가 있음에도 상급자에 대한 모멸적·멸시적 표현을 썼다”고 덧붙였다.
재판부는 “대검 검사급을 고검 검사로 발령 낸 것이 실질적으로 강등 인사명령인지 여부가 쟁점이 될 것 같다”면서 2주 안으로 집행정지 신청에 대한 결론을 내리겠다고 밝혔다.
인공지능(AI)이 학교의 평가 도구로 부상하면서 관련 연구도 증가하고 있다. 다수의 연구는 AI가 교사의 평가를 보완하는 역할을 할 수 있다고 봤지만, 여전히 교사의 역할이 중요하다고 방점을 찍었다. 온전히 AI에만 평가를 맡기기에는 아직 여러 한계가 있다는 것이다. 일부 연구 논문은 AI 채점 프로그램을 납품하는 업체 관계자들이 효과성을 강조하는 형태로 쓰여진 사례도 있었다.
22일 ‘교육과정평가연구’에 올해 실린 ‘논술형 평가에서 AI 협업 기반 채점자 협의와 전통적 채점자 협의의 양상 비교’를 보면, 복수의 평가자(교사)들이 논술 평가를 할 때 AI를 사용할 때와 전통적 평가방식의 차이를 다뤘다.
연구진은 AI를 평가에 사용하면 “AI 점수가 합의의 기준점으로 작용해 초기 기준 설정과 채점자 간 중재가 용이했다”면서도 “AI 결과가 정답처럼 받아들여지는 순간, 협의가 본래의 목적을 상실하고 단순한 점수 일치의 장으로 축소될 위험이 있었다”고 했다. 연구진은 AI를 활용한 교사들이 “AI 결과와 자신의 판단이 일치할 때 안도감을 느끼거나” “무의식적으로 AI 점수를 ‘정답’으로 받아들이는 경향을 보였다”는 분석도 내놨다.
연구진은 AI 채점 이후 협의과정이 오히려 교사들 간 전통적 협의보다 오히려 긴 시간이 걸렸다면서 “AI의 채점 근거와 피드백이 추가적 쟁점을 제공해 논의의 심층성을 높이는 동시에 채점자 부담을 가중시킨 결과”라고 했다. 그러면서 “AI 협업 기반 채점자 협의는 전통적 협의를 대체하기보다 보완할 때 채점 신뢰도와 협의의 심층성 제고에 기여할 수 있다”고 결론지었다.
지난해 출간된 논문 ‘과정중심평가를 위한 인공지능 서비스의 사용자 경험 분석과 개선 과제 탐색’은 평가 설계 단계에서 교사의 노동력 투입이 집중적으로 이뤄진다고 분석했다. 연구진은 “평가 설계 단계에서는 시간이 더 많이 소요되었다는 교사들의 응답이 다수 있었다”며 “AI 기반 도구가 반복적인 작업에서는 강력한 도구이지만 평가 설계와 같은 창의적이고 복잡한 과정에서는 교사의 전문성과 개입이 여전히 필요함을 보여준다”고 했다.
올해 학술지 ‘교육학연구’에 실린 논문 ‘사회과 서·논술형 문항 자동채점을 위한 프롬프트 엔지니어링 기법 간 유용성 비교’은 프롬프트(명령어)에 따라 AI 평가의 결과값이 달라질 수 있음을 보여준다. 연구진은 “AI(챗GPT-4o)가 ‘논리적 뒷받침’이나 ‘해결 방안 도출’과 같이 고차 인지를 평가하는 영역에서 일치도가 낮게 나타났다”며 “생성형 AI 기반 자동채점 결과를 제2의 평가 의견으로 보완적으로 활용하거나, 교사의 채점 의도를 면밀히 반영한 정교한 프롬프트를 추가로 설계할 필요가 있다”고 제언했다.
일부 연구 논문에는 경기도교육청에 AI 채점 프로그램을 납품하는 A사 관계자들이 AI 채점의 효과성을 강조하는 내용이 담겼다. A사 관계자 2명이 올해 ‘한국콘텐츠학회논문지’에 투고한 논문 ‘교사의 평가 업무 경감 위한 AI 평가 지원 도구 활용의 효과’에는 A사의 AI 채점 프로그램을 쓴 교사들의 “물리적 시간과 심리적 부담이 평균 42~50% 가량 감소했다”는 내용이 담겼다. 이 논문은 과학기술정보통신부의 지원을 받아 수행된 연구에 기반했다는 점도 밝히고 있다.
연구진은 “교사를 지원하는 AI는 교사의 전문성을 보완하고 평가의 질적 수준을 높이는 조력자로서 역할에 충실해야 한다”면서도 A사 제품의 효과성을 여러 층위에서 강조했다. 연구진은 “A사 제품이 교사의 평가 업무 부담을 줄여 평가의 질을 높이는 데 기여한다” “A사 제품과 같은 AI 기반 기술이 교육 현장에서 널린 확산돼 활용될 때 교사의 평가 업무 경감 효과가 커질 수 있다” “교사가 평가 외 다른 교육 활동에 집중할 수 있도록 도움을 줘 전반적인 교육의 질 향상에 기여한다”는 장점을 열거했다.

댓글목록

등록된 댓글이 없습니다.

QnA

입주문의/상담

수원이혼변호사 24명 서술형 답안, 27초 만에 ‘채점 끝’···그런데 이 점수, 믿을 수 있을까[AI에 교육을 먹이면]

페이지 정보

본문

댓글목록