인권영향평가를 어떤 기관의 범위에서 수행할 것인지 문제가 된다. 의원입법의 경우에 헌법적 권한배분과 충돌할 가능성이 높아서 스스로 인권영향평가를 하는 것 외는 바람직하지 않다. 또한 지방자치단체의 경우는 반발가능성이 높아 중앙행정기관에 대한 절차와 달리 세분화해서 구성할 필요가 있다.
또한 어떤 기관의 범위에서 인권영향평가를 수행할 것이지도 문제가 된다. 특히 우선적으로 법령 등에 대한 영향평가로 한정하여 판단한다면 가장 큰 쟁점은 1) 의원입법에도 적용할 것인가, 2) 행정부 이외에 지자체에도 적용할 것인가이다. 물론 법령이 외의 계획이나 사업에 적용하게 되는 경우는 공기업을 포함한 공공기관 등의 범위도 고려해봐야 할 것이지만 우선 법령 등만을 한정하여 제도를 설계하는 경우에는 공공 기관 등을 고려할 필요는 없을 것이다. 의원입법에 인권영향평가를 적용하는 것은 물론 가능한 일이다. 하지만 의원의 법안 발의에 대해서 의무적으로 인권영향평가를 받게 하는 절차는 국회가 이를 받아들이지 않을 것이라는 예상은 별론으로 하더라도 헌법적 권한배분과 충돌할 가능성이 매우 높다. 따라서 의원입법의 경우에는 사전적으로 통제하는 것은 언제나 법안을 발의하는 주체 스스로 원할 때 가능한 것이지 의무적으로 인권영향평가를 거치게 할 수는 없을 것이다. 또한 지방자치단체의 경우에도 인권영향평가를 의무화하는 것에 반발이 상당히 높을 수 있다. 따라서 중앙행정기관에 대한 절차와 지방자치단체에 대한 절차를 세분화하여 구성할 필요도 있다.