컴퓨터 기반 평가 시스템의 도입 초기에는 많은 자원이 들어가므로 사용기간이 짧으면 경제적 손실이 크다. 따라서 우리나라에 적합한 방식으로 이 시스템을 도입하려면 사전 연구와 준비를 철저히 해야 한다. 학교의 컴퓨터 환경 구축과 평가 문항 보안이 확보돼야 하며 국제 수준의 평가 사례, 기존의 국내 대규모 평가 사례 등을 분석해서 최적의 방안을 찾아봐야 한다.
우리나라도 이와 같이 장기적인 계획에 따라 대규모 평가에서의 컴퓨터 기반 평가의 도입에 대한 기초 연구와 시범 적용을 거쳐 적용 범위를 점진적으로 확대해 나가는 것이 필요하다. 컴퓨터 기반 평가 시스템을 개발․구축하는 도입 초기에는 많은 노력과 시간, 비용이 드는데 이를 1회 적으로 사용하거나 사용하는 기간이 짧은 경우 경제적 손실은 막대하다. 따라서 우리나라의 교육 내용과 환경에 적합한 방식으로 컴퓨터 기반 평가를 도입하기 위해 사전 연구와 준비가 철저해야 한다. 만약 국가 수준 학업성취도 평가에 컴퓨터 기반 평가를 도입하는 경우 대상 학년과 교과 중에서 어떤 학년 또는 어떤 교과부터 적용할지, 시행 규모를 평가대상 전체 또는 일부로 할지 등을 정하여 단계적으로 도입하면서 적용 가능성을 타진하면서 충분한 연구와 철저한 사전 검토를 거쳐 실제 적용 여부에 대한 의사결정을 내려야 할 것이다. 또한 대규모로 시행되는 고부담 검사에 컴퓨터 기반 평가시스템이 도입되려면 학교의 컴퓨터 환경 구축은 물론이고 평가 시행에 있어 문항 보안이 확보되어야 한다. PISA나 IEA의 ICILS(International Computer and Information LiteracyStudy)는 인터넷 연결망을 이용하여 평가를 시행하는 것이 아니라 USB(이동식 저장 매체)에 평가 시스템을 탑재하여 컴퓨터 기반 평가를 시행하고 있다. 이와 같은 국제 수준의 대규모 평가 사례, 기존에 시행된 국내 대규모 평가 사례 분석 등을 통해 우리나라 상황에 적합한 방안을 탐색해 볼 수 있을 것이다.