거소 투표의 부정선거 가능성 때문에 선관위와 시설이 부담을 느끼는 것이 사실이고 관리가 소홀한 것도 사실이다. 하여 이를 감시할 수 있는 단위와 역할이 규정되고 의무적으로 작동되어야 할 것이다.
선관위와 시설이 느끼는 거소투표에 대한 부담감은 실제로 그 과정에서 부정선거의 가능성이 높다는 것에 있다. 부정투표에 대한 많은 고소, 고발이 시설 거소투표(부재자투표) 과정에서 제기되었다18). 현재 거소투표는 기표소를 설치하는 것이 법적인 의무사항이 아니기 때문에 부재자 투표 형식으로 진행해도 상관이 없다. 또한 거소투표를 진행하는 시설에 파견되어 있는 선관위 직원 수도 매우 적으며 참관인도 없는 경우가 대부분이다. 이러한 선거환경으로 인해 거소투표 과정에서 선거원칙들이 지켜지기 어려우며 현재 이러한 상황을 통제하는 역할이 명확하게 정해져 있지 않다. 때문에 거소투표과정에서 발생할 수 있는 이러한 부정선거를 감시할 수 있는 단위와 역할을 법적으로 규정하고 이것이 의무적으로 거소투표 시행하는 기관에서 이것이 작동될 수 있어야 한다고 보았다.