간접고용 근로자의 경우 규모가 작아 노조 가입률이 2%도 안되 직접 근로조건을 개선하기 어렵다. 또한 특수고용은 근로자성을 인정받지 못하여 노동법 적용이 어렵다.
이러한 열악한 근로조건에도 불구하고 간접고용 근로자들이 스스로 근로조건을 개선하려는 노력을 하기는 쉽지 않다. 무엇보다 노동조합 등을 이용한 단결권행사가 용이하지 않기 때문이다. 간접고용 근로자가 소속된 하청기업의 규모 자체가 노동조합을 조직할 만큼 크지 않기 때문에 간접고용 근로자의 노동조합 조직률은 지극히 낮다. 현재 근로자 전체의 노조가입률은 10.9%이고 정규직 근로자의 가입률은 19.8%임에 비해 비정규직근조자의 노조가입률은 1.7%에 불과하다. 설사 이들에게 노동조합이 있다고 하더라도 실질적으로 근로조건을 결정하는 원청기업은 직접 사용자가 아니라는 미명하에 대부분 책임있는 협상에 나서지 않는다. 사실 사용사업주들이 노동법 또는 사회보장법상의 사용자책임을 합법적으로 회피하기 위해 간접고용을 이용하고 있다고 해도 과언이 아니다. 그리고 특수고용의 경우는 근로자성을 인정받지 못하는 경우가 많기 때문에 애당초 노동법이 적용되지 않는다고 해석되기도 한다.