한편 n에 비하여 p가 큰 고차원 데이터에서는 축소된 추정량을 산출하더라도 그 분산을 줄여서 전체 평균제곱오차를 최소제곱법에 비해 줄일 수 있는 축소 추정법이  유용하다.
한편 n에 비하여 p가 큰 고차원 데이터에서는 벌점화(penalize)를 통하여 변수선택과 적합을 동시에 진행하는 축소 추정법(shrinkage estimation)이 더욱 유용하다고 할 수 있다(주아림․전수영, 2015). 여기서 축소 추정이라 함은 평균제곱오차가 분산과 편향으로 이루어져 있다고 할 때, 불편(unbiased)성을 포기하고 다소 축소된 추정량을 산출하더라도 그 분산을 줄여서 전체 평균제곱오차를 최소제곱법(OLS)에 비하여 줄일 수 있다는 아이디어에서 출발하는 것이다. 이는 잔차제곱합에 포함된 벌점을 통해 이루어진다. 일반적인 선형회귀에서 벌점화된 잔차제곱합은 식(1)과 같으며, 이를 최소로 만드는 계수들을 선택하여 모형을 구축하게 된다.