마커AI, 오픈AI 모델 비교 분석…비문학서 하나 틀려

진화하는 AI의 한국어 능력
[마커AI 제공. 재판매 및 DB 금지]

(서울=연합뉴스) 김현수 기자 = 인공지능(AI)이 대학수학능력시험 국어 영역에서 만점에 가까운 점수를 획득한 것으로 나타났다.

16일 정보통신기술(ICT) 업계에 따르면 국내 AI 스타트업 마커AI가 오픈AI의 AI 모델을 활용해 2025학년도 수능 국어 영역 시험을 치른 결과, 'o1-프리뷰' 모델이 1등급에 해당하는 원점수 97점을 받았다.

'o1-프리뷰'가 유일하게 틀린 문제는 국어 영역 8번 문제였다.

근대화에 대한 두 가지 비문학 지문을 읽고, 보기에서 주어진 사례에 대입해 논리적 사고를 평가하는 문제였다.

이 문제는 2025학년도 수능 국어 영역 가운데 오답률이 가장 높은 81.5%를 기록했다.

마커AI는 o1-프리뷰가 지문과 보기의 맥락을 이해하고, 문제의 숨은 취지를 파악하는 과정에서 오류를 범했다고 설명했다.

마커AI는 최근 10년간 수능 국어 영역에 대해 AI 모델의 처리 능력을 평가해왔다.

2025학년도 수능 국어 영역을 푼 'o1-미니'는 원점수 78점을, 'gpt-4o'는 75점을 기록해 4등급에 포함됐다.

2025학년도 대학수학능력시험 국어 영역 AI 모델별 점수
[마커AI 제공. 재판매 및 DB 금지]

hyunsu@yna.co.kr     2024/12/16 11:17 송고