대규모 평가에서 활용할 자동채점 프로그램은 정보 통신 기술을 활용해서 답안을 입력할 수 있는 전산 시스템과 함께 개발되어야 효과적이다.
대규모 평가에서 활용할 자동채점 프로그램 개발은 답안의 전산 입력 방안과 함께 마련되어야 실효성을 얻는다. 컴퓨터 기반 평가 시스템이 정착되기 전까지는 지필 평가를 통해 얻은 학생들의 반응을 자동 채점 프로그램을 이용하여 처리하기 위해 답안을 직접 입력 하거나, 스캔한 답안을 문자로 전환하여 처리하는 방식 등을 이용하여야만 한다. 이러한 작업은 비용 증가뿐만 아니라, 채점 기간이 늘어나거나 관리 및 보안 등의 문제를 야기하게 된다. 또한 반응을 변환하는 과정에서 발생하는 오류 역시 부담으로 남게 된다. 아무리 좋은 자동 채점 프로그램을 개발하였다 하더라도 자료 입력의 문제가 해결되지 않으면 적용할 수 없다. 따라서 고도의 정보 통신 기술을 활용하여 대규모 평가답안을 입력할 수 있는 시스템 연구·개발 노력이 병행되어야 한다(성태제 외, 2010).