학업성취도 평가자료의 실시 학교나 설문 문항의 일관성 부족으로 학교패널 연구나 횡단분석 모형를 적용할 수 없었기에 본 연구는 학교의 다양한 학업성취도 평가 자료의 활용문항에 대해 평가자료를 활용하는 학교와 그렇지 않은 학교가 기초학력 미달 학생률에 차이가 있는지 T-검증으로 연도별로 분석하고, HGLM을 적용해 학교의 학업성취도평가자료 활용에 따른 기초학력 미달 학생 확률을 도출하고 그 효과를 추정하도록 설계하였다.
먼저, 본 연구의 초기 취지는 2003, 2006, 2007, 2009년 총 4개 년도의 학교 자료를 연도별로 연계하여 학교의 다양한 학업성취도 평가자료 활용이 학교의 기초학력 미달 학생 비율에 어떠한 영향을 미치는 지를 분석하는 학교패널 연구를 시도하고자 하였다. 하지만, 2009년 전수조사로 그 체제가 전환되기 이전까지는 학업성취도 평가를 실시하는 학교가 매년마다 다르게 무선적으로 표집되어 평가되었을 뿐만 아니라, 학교의 학업성취도 평가 자료의 활용 목적을 묻는 설문문항 또한 연도마다 일관적이지 않았다. 이러한 이유로, 총 4개년도 학교 자료를 연도별로 연계하여 연구모형을 설계하는 학교패널 연구 또는 횡단분석 모형을 적용할 수 없는 한계점이 발견되었다. 따라서, 이 연구는 첫째, 학교의 다양한 학업성취도 평가 자료의 활용문항에 대하여, 평가 자료를 활용하는 학교와 그렇지 않은 학교가 기초학력 미달 학생률에 유의미한 차이를 보여주었는지를 T-검증을 통해 연도별로 분석하였다. 둘째, 학교의 다양한 학업성취도 평가 자료의 활용이 학교의 학업성취도 수준에 어떠한 영향을 미치는지를 살펴보기 위하여, Hierarchical Generalized Linear Models(HGLM)을 적용하였다(Raudenbush, and Bryk, 2002). 이분변수를 위한 HGLM은 종속변인이 1과 0의 선택형 문항일 경우 즉, 학생의 기초학력미달여부를 지칭하는 더미변인을 설정하여(기초학력미달학생=1) 학교의 다양한 학업성취도평가자료 활용에 따른 학생의 기초학력 미달학생 확률을 도출하고, 그 효과를 추정하는 것으로 설계되었다.