조사대상을 초등 전기와 후기 단계로만 정의하는 것은 결과 비교의 타당성을 저해한다. 비교 대상 모집단을 명확하게 정의해야 집단 능력 수준 설정을 구체적으로 논의할 수 있다. 그렇지 않다면 학생들의 연령 범위가 나라에 따라 차이가 생겨 교육과정 또한 차이가 날 것이다.
하지만 발표자가 제시한 바와 같이 조사대상을 초등전기단계와 초등후기단계로만 정의하는 것은 기존 검사도구를 최대한 활용할 수 있게 하는 데에는 적절하겠지만, 결과 비교의 타당성을 저해하는 요인이 될 수도 있다. 국제비교연구의 경우 비교대상 모집단을 명확하게 정의함으로써 해당 집단의 능력에 대한 수준 설정이 보다 구체적 수준에서 논의될 수 있었다고 본다, 이는 PISA가 만15세 학생들을 대상으로 했다든지, TIMSS가 4학년과 8학년 학생을 대상으로 규정한 것에서도 그 이유를 찾아볼 수 있다. 만약 발표자가 제안한 것처럼 초등전기단계와 초등후기단계로 조사대상을 느슨하게 규정한다면, 대상 학생들의 연령 범위가 나라에 따라 상당히 다를 뿐만 아니라 이들 학생들에 대한 교육과정 역시 상당한 차이를 보임으로써, 어떤 학생들을 대상으로 읽기능력의 기본, 중간, 능숙, 고급을 정의할 것인지가 명확하지 않을 수 있다. 예를 들어 같은 초등후기단계라 하더라도 4학년과 6학년 학생들의 경우, 능숙한 수준의 읽기능력을 소지한 학생들에게 기대하는 수준은 상당히 다를 수 있기 때문이다. 이 경우 발표자는 “국제적으로 비교 가능한 성취수준 간 분할 점수를 설정하는 방법과 절차가 비교적 간단하며 이해하기 쉽다. 기준설정에 대한 개념 및 절차를 이해하는 한 이 방안의 이해 및 적용은 어렵지 않을 것이다”라고 했지만, 만약 이러한 수준을 소지한 학생들의 응답에 대한 구체적 정의가 명확하지 않다면 판단적 조정 방법이 나라에 따라 다르게 설정될 우려도 배제할 수 없다.