PISA 2012에서는 문제를 풀기 위해 교과 지식을 필요로 하는 문항들은 제외하였고, 일반적인 지식을 사용해서 문제를 해결할 수 있도록 하였다. 다만 기존의 지식들을 모은 다음 새로운 지식을 만들어내어 문제를 풀어야 하는 경우 그 과정에서 필요한 상호작용은 컴퓨터를 토대로 한  평가 방법을 도입함으로써 가능해졌다.
PISA 2012에서는 문제 해결에 기본이 되는 인지적 과정을 측정하는 데에 집중할 수 있도록 문제를 해결하기 위해 교과 지식을 필요로 하는 문항들을 피하였다. 즉, 문제해결력평가 문항에서 전문적 지식을 필요로 하는 문항을 제외하였으며 읽기, 수학, 과학 등 기존의 영역에 포함될 수 있는 문항들도 제외하였다. 따라서 일상적 상황을 중심으로 평가 과제가 주어지며 일반적인 선지식을 이용하여 과제를 해결하도록 하였다. 다만 선지식을 적용하는 것만으로는 문제를 풀기 어렵기 때문에 기존의 지식들을 조직하여 새로운 지식을 창출하고 문제 상황을 관찰하고 탐구하여 문제를 해결해야 한다. 이때 규칙을 찾아내는 과정에서 상호작용이 필요한데 PISA 2012 문제해결력 평가는 컴퓨터 기반 평가를 도입하여 이러한 상호작용이 가능하게 되었다. 컴퓨터 기반 평가의 도입은 학생들이 문제 상황과 상호작용을 하면서 문제를 해결하는 문항 형식을 포함시키기 위해 꼭 필요한 것이었다. 한편 PISA 2003 문제해결력 평가틀이 개발되고 난 후, 복잡한 문제에 대한 문제해결 관련 연구, 문제해결력 평가의 대규모 시행 연구, 컴퓨터 기반의 문제해결력 평가 연구 등 다양한 연구가 수행되었다(OECD 2013a, p.120).