일본정부는 미국식 자치경찰제도를 받아들였지만, 광역범죄의 진압 곤란 등 여러 문제 제기가 지속되었다. 문제를 시정하기 위해 1954년에 국가지방경찰제와 시정촌 자치경찰제를 폐지하고, 국가경찰과 광역단위인 도도부현에 자치경찰을 신설하였다. 이는 경찰의 민주화와 효율성 등 상반된 요소를 고려했고, 국가경찰과 자치경찰간의 긴밀한 관계를 유지시킨 특징이 있다.
시민적·민주적 자치에 대한 경험이 없고, 오랫동안 중앙집권적 국가경찰에 익숙해져 있던 일본 실정에는 기초자치단체 단위로 세분화된 미국식 자치경찰제도가 맞지 않았다. 미군정 하에서 일본정부는 기초단위 자치경찰제를 달갑지 않게 받아들이긴 했지만, 제도도입 이후에도 일본정부의 자치경찰에 대한 인사, 재정, 장비 등 모든 면에서 냉대정책이 지속되었다. 광역범죄의 진압 곤란, 경찰 유지를 위한 자치단체의 재정적 곤란 및 이에 따른 자치단체간의 치안력에 차별 문제가 지속적으로 제기됨에 따라, 일본정부에서는 기초단위(시정촌) 자치경찰제도를 점령정책의 오류로 지적하고 이를 시정 하기 위해 노력하였다. 1951년에는 경찰법을 개정하여 인구 5000명 이상의 시정촌은 주민투표에 의해 경찰을 유지하지 않아도 되도록 하였고, 이에 따라 1024개의 시정촌 에서 자치경찰폐지가 결정되었다. 1954년 6월8일자 경찰법 개정에서는 국가지방경찰제 와 시정촌 자치경찰제를 폐지하고, 국가경찰과 광역단위인 도도부현에 자치경찰의 신설 하였다. 현재까지 유지되고 있는 광역단위 자치경찰제도는 경찰의 민주화와 효율성, 국가적 성격과 자치적 성격, 정치적 중립과 자치책임의 명확화라고 하는 상반된 요소를고려한 것으로 평가받고 있다. 경찰을 국가경찰과 광역단위 자치경찰로 조직적, 기능 적으로 이원화하면서도 양자 간의 긴밀한 관계를 유지한 것이 특징이다.