컴퓨터 기반 평가를 효과적으로 하기 위해 오직 컴퓨터 기반 평가를 통해서만 평가가 가능하거나 컴퓨터를 통하는 게 더 효과적인 능력이 어떤 것인지를 가려야 한다. 컴퓨터를 통해서 얻는 신속함이나 간편함보다는 지필평가로는 측정하기 쉽지 않은 것을 집중적으로 컴퓨터를 활용해야 한다.
컴퓨터 기반 평가를 위한 환경을 조성하고 기술적인 지원을 하기에 앞서 교과별로 가르치고 평가해야 하는 능력 중에서 컴퓨터 기반 평가에 의해서만 평가할 수 있거나 컴퓨터 기반 평가 문항으로 더 효과적으로 평가할 수 있는 능력이 무엇인지에 대해 규명하는 일부터 진행되어야 한다. 예를 들어 DRA 평가에는 지필평가와는 차별화된 텍스트 구조와 형식을 적용하여 디지털 환경에서의 읽기 소양을 평가한다. 컴퓨터 기반 평가로 어떤 내용을 평가하는지에 대한 문제는 지필평가에 비한 상대적 유용성과 직결되는 것으로 선결되어야 한다. 지필평가에 의해서도 평가할 수 있는 것을 컴퓨터 기반 평가에 의해 평가한다면 컴퓨터 기반 평가의 제작과 시행 등에 들이는 기술과 비용 대비 효율성이 떨어진다. 컴퓨터를 활용함으로써 얻게 되는 데이터 처리의 신속성과 간편성보다는 이러한 평가 방법을 적용함으로써 중요한 능력이나 지필평가로든 측정하기 쉽지 않아서 평가할 수 없었던 능력(예, 디지털 읽기 소양, 협업 능력 등)을 측정할 수 있다는 장점을 살려 역량 평가 방안으로 적용해야 한다.