변수 선택을 위해 상대적으로 직관적인 원리를 사용하는 알고리즘으로서는 전모형탐색법, 전진선택법, 후진소거법, 단계적선택법 등이 있다.
논의를 위해 관측의 개수를 n, 모형에 포함될 수 있는 잠정적 변수의 개수를 p라고 하자. 변수 선택을 위해 상대적으로 직관적인 원리를 사용하는 알고리즘으로서는 전모형탐색법(all possible search), 전진선택법(forward selection), 후진소거법(backward elimination), 단계적선택법(stepwise selection) 등을 들 수 있다. 그 기본적인 아이디어는 다음과 같다(cf. 박창이 외, 2015: 56-57; 나종화, 2017: 50). 전모형탐색법에서는 p개의 변수를 활용하여 만들 수 있는 모든 모형을 생성한 후에 그에 대한 점수를 근거로 실제 최적의 모형을 고르게 된다. 전진선택법에서는 절편만 포함하는 가장 간단한 모형에서부터 가장 설명력이 큰 변수를 차례로 선택 및 모형에 포함시키는 작업을 더 이상 유의미한 변수가 없을 때까지 반복한다. 후진소거법에서는 먼저 모든 변수를 모형에 포함한 후에 설명력이 낮은 변수를 차례로 모형에서 제거시키는 작업을 더 이상 제거할 변수가 없을 때까지 반복한다. 단계적선택법은 전진선택에 의해 변수를 선택한 후에 후진소거를 통해 설명력이 낮은 변수를 제거하는 방법으로서, 양자를 상호보완적으로 적용한다. 그러나 각각은 과도한 계산량 혹은 생성된 모형의 안정성 등의 단점을 지니고 있기도 하다. 이러한 기법들에서 최적의 모형을 선택하는 기준으로서는 모형의 복잡도에 벌점을 주는 AIC와 BIC를 비롯한 여러 방법들을 상황에 맞게 활용할 수 있다.