성취기준에 대한 근거 여부는 교수 학습 내용과 성취기준과의 연계를 통해서 평가하며 문항이 측정하고자 하는 것을 묻고 있는가는 내용과 학생들의 답지 분포를 함께 분석하면 알 수 있다.
문항이 교수 학습 내용 즉, 성취기준에 근거하고 있는가와 문항이 측정하고자 하는 내용을 묻고 있는가는 둘 다 평가의 타당도 관련 항목이지만 그 의미와 분석 방법을 살펴보면 차이가 있다. 성취기준에 대한 근거 여부는 문항의 내용과 성취기준과의 연계(alignment)를 통해서 평가할 수 있으나, 문항이 측정하고자 하는 내용을 묻고 있는가는 문항의 내용과 학생들의 답지 분포를 함께 분석하면서 평가할 수 있다. 예를 들어 교사가 일정한 목적과 내용을 가지고 문항을 개발하여 평가를 시행한 결과, 발문과 답지의관계 그리고 이 문항에 대해 학생들이 생각하고 받아들인 이해가 교사의 출제 의도와 다르게 나타난 경우, 문항이 측정하고자 하는 내용을 묻고 있는가에 대한 검토가 필요하다. 이와 같은 경우에 해당하는 예시를 [그림 Ⅳ-19]에 제시하였다.