Shermis & Hammer(2013)이 분석한 미국의 9개 자동채점 프로그램의 특징을 살펴보고 ETS의 단문형 채점 프로그램 c-rater에 대해서도 소개한다.
서답형 문항에 대한 자동채점 프로그램의 유용성은 채점의 정확성과 효율성이 중요한데, 미국의 차세대 평가에 자동 채점 프로그램 도입의 타당성을 점검하기 위해 ASAP(Automated Student Assessment Prize) 자동 채점 공개경쟁 대회가 개최되었다. 특히, 장문형 답안에 대한 자동채점 분야의 공개경쟁에는 미국 자동 채점 시장의 97%이상을 차지하고 있는 9개 자동채점 프로그램의 시범이 포함되어 있었는데(Shermis & Hammer, 2013), 동일한 평가 준거를 토대로 9개 자동 채점 프로그램의 채점 수행능력을 객관적으로 비교할 수 있는 기회를 제공하였다. 이 글에서는 Shermis & Hammer(2013)가 분석한 9개 자동채점 프로그램의 주요 특징을 소개하고, ETS가 단문형 답안을 채점하기 위해 개발한 c-rater의 특징에 대해서도 알아본다.