PISA 2012 문제해결력 평가는 컴퓨터 기반으로 시행되었으나 평가도구인 컴퓨터 작동이 미숙하거나 용이한 개인의 차이가 학생들의 문제해결력 점수 차로 나타날 수 있기 때문에 그것이 미치는 영향 파악을 위해 PBA와 CBA에 의한 수학 점수의 영향력 차이를 알아본다. 
PISA 2012 문제해결력 평가는 컴퓨터 기반으로 시행되었다. 학생의 컴퓨터 친숙도 또는 평가도구로서 컴퓨터 사용에 대한 친숙도에는 차이가 있다. 예컨대 키보드나 마우스 작동 등이 미숙한 학생은 제한된 검사 시간 내에 문제 풀이를 완수하지 못하는 일이 발생할 수 있다. 학생의 컴퓨터에 대한 친숙도와 활용 능력이 낮으면 컴퓨터 기반 평가에서는 검사 불안을 증가시키는 요소로 작용할 가능성이 있고(송미영 외, 2014b), 이와 반대로 컴퓨터를 사용하여 평가함에 따라 더 높은 점수를 얻은 학생이 있을 수 있다. 따라서 학생들의 문제해결력 점수 차이는 컴퓨터 친숙도, 특히 평가도구로서의 컴퓨터 활용 능력의 차이에 기인할 수도 있다. 각 참여국 내에서 학생들의 문제해결력 점수에 컴퓨터 친숙도 또는 평가도구로의 활용 능력 등이 미치는 영향을 살펴보기 위해 문제해결력 점수에 대한 지필평가(PBA)와 컴퓨터 기반 평가(CBA)에 의한 수학 점수의 영향력 차이를 분석하였다. 이러한 분석은 CBAM과 CBAPS를 모두 참여한 국가만을 대상으로 이루어졌다.