계단형과 비선형 활성 함수를 사용하고, 출력 unit이 하나인 다층 퍼셉트론과 시그모이드 비선형 활성 함수를 적용한 하나 이상의 출력 unit을 지닌 네트워크는 유사한 결과물을 갖고 있다. 때문에 backpropagation 학습 알고리즘을 통한 학습이 가능하다.
아래 그림에서 단층, 2층, 3층 퍼셉트론들의 구조와 결정 구역을 나타내었다. 이 그림에서 두 번째 열은 각 네트워크가 형성하는 결정 구역을 나타내고 다음 두 개의 열은 Exclusive-or 와 mesh 구역 문제에 대한 결정 구역을 예시한다. 지금까지는 주로 계단형(hard limiting)의 비선형(noolinear) 활성 함수를 사용하고 출력 unit이 하나인 다층 퍼셉트론에 대하여 논의하였다. 이와 비슷한 결과가 시그모이드 비선형 활성 함수를 적용한 한 개 이상의 출력 unit를 가진 네트워크에도 나타난다. 시그모이드 비선형 활성 함수를 적용할 경우 결정 영역이 통상 직선이 아닌 완만한 곡선으로 경계 지워지므로 행위의 분석이 약간 복잡하지만, 미분이 가능하다. 따라서 오히려 은닉층을 학습할 수 있는 Backpropagation 학습 알고리즘을 수행할 수 있다. 대부분의 다층 퍼셉트론은 backpropagation 학습 알고리즘을 사용하여 학습시킬 수 있다.