탈시설 주장자들은 한 물리적 공간/건물 생활이 장애인 인권 침해 가능성이 다분하며 기존 시설 소규모화와 개선은 탈시설화 정책이 되지 못하므로 '물리적 공간 시설에서 나오기'를 주장한다.
물론 이런 주장에 ‘탈시설’을 본래 주장했던 이들은 납득하지 않는다. 다시 말해, 물리적 공간/건물로서 한 동에서 생활하는 것 자체가 장애인 인권 침해 가능성이 다분하며, 그렇다고 하여 “기존 시설을 소규모화하고 개선하는 과정은 시설적 문화와 시설화를 단절할 수 없기 때문에 사실상 탈시설화 정책이 될 수 없다”라고 주장한다. (박숙경, 2017년, 국가인권위원회 탈시설 방안 연구 보고서 12~13쪽) 그래서 이들의 ‘탈시설’ 개념은 ‘물리적 공간 차원에서 시설에서 나오기’를 핵심으로 삼는다(이와 관련하여, 이 자리가 탈시설, 탈시설화, 탈-시설, 탈-시설화, 탈시설-화‘ 등의 개념을 논하는 자리가 아니니 차치한다).