행정 법규들이 행정 형벌을 부과한다고 형식적으로 구별할 수는 있다. 하지만 이는 목적하는 법익이 행정 목적의 일부이며 분리된 독립적 형법 목적이 있는 것은 아니라고 해석된다.
물론 행정 법규들이 행정 절차적 또는 형식적 의무 위반은 질서 벌로 규제하되, 사회적 유해성을 내포함으로서 법익에 대한 위태화를 초래할 경우에는 행정 형벌을 부과한다고 형식적으로 구분할 수는 있다. 그러나 그러한 구분이 모든 행정 법규에 합치하는 것은 아니다. 또한 행정형벌이 개인적 또는 사회적 법익을 보호하는데 그 목적을 두고 있다고 하더라도, 형벌을 담고 있는 개별 조항의 세세한 보호 법익을 떠나 행정 형벌을 담고 있는 행정 법규가 행정 목적과 이를 달성하기 위한 의무 이행 요구라는 기능적 법률이라는 점으로부터 행정 형벌의 속성을 찾아야 할 것이다. 즉, 행정 형벌이 목적 하는 법익 보호는 행정 목적의 일부이지, 그것으로부터 분리된 독자적 형법 목적이 있는 것은 아니다.