인사평가에서 사용자의 재량이 인정되지만 객관적이고 공평한 평정이 이루어지지 않거나, 불순한 동기로 남용되는 경우에는 사법심사의 대상이 된다. 그러므로 사용자의 인사평가는 무제한적이지 않다. 
앞서 말한 바와 같이, 인사평가와 관련하여 판례는 이를 사용자의 인사권으로 파악하고 사용자의 광범위한 재량을 인정한다. 그러나 이것이 인사평가가 언제나 사법심사의 대상에서 제외된다는 것을 의미하는 것은 아니다. 인사평가와 관련하여 사용자에게 재량이 인정된다 하더라도, 사용자는 인사평가제도의 목적과 성질 등에 비추어 인사고과가 근로자의 근무실적이나 업무능력 등을 중심으로 객관적이고 공정한 평정이 이루어지도록 노력해야 하고, 인사평가가 불순한 동기로 남용되지 않도록 해야하고, 사용자가 이와 같은 기준에 위배되어 인사고과를 실시하는 경우 당해 근로자에게 사법상 구제가 인정되어야 하며, 따라서 그 인사고과 평가결과도 사법심사의 대상이 된다. 이러한 점에서 사용자의 인사평가는 무제한적인 것이 아니며, 일본의 다수설이 이해하는 바와 같이 인사평가의 공정성은 인사평가의 내재적 한계를 이룬다고 할 수 있다.