변수 선택은 변수의 개수가 너무 많아지면 예측 오차가 커지거나 모델이 지나치게 복잡해지는 등의 문제를 방지하기 위해 설명력 있는 변수만을 투입하는 방법이다. 이런 문제를 해결하기 위해서는 적절한 복잡도를 갖는 모형을 선택해야 한다.
변수 선택(variable selection)은 고차원 데이터에 대한 분석에서 변수의 개수가 너무 많아지면 예측 오차가 커지거나, 모델이 지나치게 복잡해지고, 잡음(noise)이 포함될 수 있으며, 과적합(overfitting)이 발생할 수 있는 등의 여러 문제가 발생하므로 이를 해결하기 위하여 실제적인 설명력이 있는 변수만을 모형에 투입하려는 방법이라고 할 수 있다(박창이 외, 2015: 52-64; Lee, Rönnegård & Noh, 2017: 277-291). 일반적으로 모형의 복잡도(≒ 입력변수의 개수)가 증가하면 모수에 대하여 추정량의 편향은 줄어들지만 분산이 증가하게 되고, 반대로 모형의 복잡도가 감소하면 추정량의 편향은 증가하지만 분산이 작아지게 된다. 그러므로 적절한 복잡도를 갖는 모형을 선택해야 하는 것이다(박창이 외, 2015: 52-64).