일본형 다문화사회의 구축은 1970년대의 외국인에 대한 지원, 1980대의 일본계 남미인 유입, 1990년대의 국제교류 마은 만들기 프로젝트, 1990년대 중반의 이주 외국인들의 적극적인 구호활동을 통한 일본국민의 외국인 이주자에 대한 시각 변화, 그 이후 이주 외국인들이 지역회의에 적극적으로 포함 등의 구조로 전개되었다.
여기에는 일본정부 차원의 장기적인 플랜 구축과 지자체 차원의 지역 밀착형 서비스실시가 바탕이 되어 왔다. 그리고 일본형 다문화사회의 구축은 크게 다음과 같은 구조로 전개되었다고 볼 수 있다. 먼저 1970년대에 들어와 이주 외국인에 대한 지원형태 중 인권의 보장을 중심으로 이주 외국인에 대한 지원이 정책의제로서 설정되게 된다. 그와 더불어 결혼이주 여성에 대해서 기본적인 생활지원을 중심으로 하는 생활보장이 지역 사회 차원에서 추진되어 왔다. 그 이후 1980년대 경제활황기에 노동력부족을 해소하기 위해 일본계 남미인들이 대규모로 유입됨에 따라서 기존의 다문화정책과는 다른 관점이 요구되게 되었다. 이와 더불어 이주 외국인에 대해서 어느 정도 기본적인 인권과 생활권이 보장되었다는 전제하에 일본의 경제적인 성장과 국제 활동에 대한 자신감을 바탕으로 일본정부는 1990년대에 자치성을 중심으로 국제교류의 마을 만들기 프로젝트를 실시하게 된다. 즉 중앙정부 차원에서 지방자치단체에 대하여, 국제화와 이에 동반되는 이주 외국인과의 다문화사회 구성에 대한 신호를 보내어 이른바 지자체의 국제화와 외국인의 지역사회동화를 촉진시키게 된다. 이런 와중에 1990년대 중반 한신대지진을 계기로 재난으로 인한 외국인 피해와 더불어 이주 외국인들의 적극적인 구호활동을 목도하면서 일본국민들은 자국내 외국인 이주자에 대한 시각을 바꾸기 시작한다. 즉 기존에 외국인집단을 타자로 보는 시각을 탈피하여 이제는 자국내에 다른 문화적 배경을 지닌 다양성을 가진 지역구성원으로서 받아들이기 시작한 것이다. 이로부터 시작된 사상이 일본형 다문화사회 즉 다문화공생사회인 것이다. 이후 외국인집주회의와 지역회의에 공동정책결정자로서 이주 외국인을 적극적으로 포함시켜서 다문화공생사회를 확고히 구축해나가고 있다.