회귀분석을 통한 학교효과 측정은 학교 간 분산 정보 외에 실제 차이 등의 정보는 제공하지 못하며 준거 변인 등에 따라 학교효과 크기가 달라질 수 있어 연구결과들의 비교가 어렵다.
학교효과를 측정하는 방법은 전통적으로 회귀분석을 통해 전체 분산 중 학교 간 분산이 차지하는 비율을 측정해왔으며, 이후 다층모형이 보급되면서 더욱 일반화되었다. 그러나 이러한 방법을 통해 측정한 학교효과의 크기는 학교 간 분산의 정보만을 제공할 뿐, 효과적인 학교와 그렇지 않은 학교 간의 차이가 실제로 어느 정도인지 등의 정보는 제공하지 못한다. 또한, 앞서 언급했듯이 학교효과의 크기는 준거가 되는 변인, 투입변인이나 분석 수준과 관련한 설정, 초기 성취도의 포함 여부에 대한 결정 등에 따라 다르게 나타날 가능성이 있다. 이로 인하여 다양한 연구결과들 간의 비교 가능성이 낮은 문제가 있다.