기존 인공신경망의 한계를 극복한 심층신경망은 인공지능을 여러층으로 나누어 각 수준별 학습의 양상을 설명한다. 각 신경망에 연결되는 정보에 따라 결합의 가중치를 끊임없이 변경하며 학습결과를 효과적으로 누적하여 인공지능의 가능성을 열었다.
그러나 기존의 인공신경망으로는 자연어 이해 또는 사진 해석과 같은 복잡한 정보처리를 모델링하는데 한계가 존재했으며, 심층신경망의 등장은 이러한 한계를 극복하고 인공지능의 가능성을 열어준 혁신적 기술 발전이라고 할 수 있다(이재성, 2016). 심층신경망 모델은 학습이 일어나는 여러 층의 인공신경망을 가정한다. 각 층마다 다른 수준의 학습이 일어나는데, 낮은 수준일수록 단순하고 구체적인 학습이, 높은 수준일수록 복잡하고 추상적인 학습이 일어난다(Patterson  & Gipson,  2017). 예를 들어, 컴퓨터가 인간의 얼굴 이미지를 해석한다고 할 때 낮은 수준의 인공신경망에서는 이미지의 구성단위라고 할 수 있는 수평선, 수직선 등을 인식하며, 높은 수준에서는 이들이 구성하는 눈, 코와 같은 부분에 대한 인지가 발생하고, 더 높은 수준에서 는 이들을 조합하여 얼굴을 인식하게 된다(DL4J, 2017). 각각의 신경망에서는 새로운 정보가 입력됨에 따라 노드 간 결합의 가중치를 끊임없이 변경하는 작업이 병렬적으로 발생하며, 하위 신경망의 출력이 상위 신경망에 입력이 되는 방식으로 학습 결과를 효율적으로 누적한다(Patterson & Gipson, 2017).