컴퓨터 기반 평가에서 컴퓨터 친숙도가 평가 결과에 미치는 영향을 확인하기 위해, 컴퓨터 기반 평가와 지질평가를 병행했다. 이에 두 평가간 차이가 미미하여 지질평가에서 컴퓨터기반 평가로의 전환이 가능하다고 본다.
컴퓨터 기반 평가를 적용함으로써 컴퓨터 친숙도나 ICT 활용 기술이 평가 결과에 영향을 미침으로써 동일한 문항이라도 지필평가와 컴퓨터 기반 평가 등으로 평가방식을 달리 적용하여 평가하였을 때 다른 결과가 산출될 소지에 대한 우려가 있을 수 있다. 이러한 평가방식에 따른 효과 여부를 확인하기 위해서 PISA 2015 예비검사에서는 기존 주기까지 지필평가 방식으로 평가해 온 문항을 컴퓨터 기반 평가와 지필평가를 병행하여 평가하였다. 그 결과를 분석해 보면, 평가방식에 따른 난이도나 변별도 차이를 보이는 문항이 극소수 존재하였으나 전체 검사수준에서는 매우 유사한 결과가 산출됨을 확인하였다. 지필평가와 컴퓨터 기반 평가간 차이가 미미하였다는 점에 터하여 평가방식, 특히 지필평가에서 컴퓨터기반 평가로의 전환 계획을 수립할 수 있을 것이다.