평가에 참여한 학생은 가상인물이 잘못 이해한 것을 바로잡고 다른 전략을 제시해 설득하면서 가상인물과 협력해 아이디어를 내거나 문제해결해야 한다.
한 예로, [그림 1]과 같이 평가에 참여하는 학생은 컴퓨터 상의 가상 인물과 협력하여 물고기가 살기에 최적인 수족관의 조건을 만들어야 한다. 가상 인물은 문제해결에 대한 아이디어를 내기도 하고 특정 상황에서는 문제 해결을 잘못 이끌어가는 제안을 하기도 한다. 평가에 참여한 학생은 가상 인물이 잘못 이해한 것을 바로잡고 다른 전략을 제시하여 설득해야 하는 역할을 해야 하며, 문제에 대한 공유된 이해를 수립하고, 팀원과 합의 과정을 거치면서 문제를 해결해야 한다. PISA 2015의 협력적 문제해결력 평가는 ‘협력’과 ‘문제해결력’이라는 역량을 평가하는 대규모 컴퓨터 기반 평가라는 점에서 주목을 받고 있으며, 역량 평가 도구 개발 연구에 많은 시사점을 제공할 것으로 보인다.