일반적으로 선정된 평가위원은 1,2차 평가에 모두 참여토록 해 평가의 일관성을 유지하고 있으나 정성평가의 경우 일관성을 위해서는 평가위원의 선정과 함께 평가항목도 구체화하여 유사한 결론이 나올 수 있도록 해야 한다. 
예를 들어 일반적으로 선정된 평가위원은 1차(서면), 2차(발표)평가에 가급적 모두 참여토록 하여 평가의 일관성을 유지하고 있으며 이들 위원 중 일부를 선정, 연차, 중간평가 과정에 위촉하고 있다(조현대, 2015). 그러나 정성평가의 경우 일관성을 위해서는 평가위원의 선정 뿐 아니라 평가항목을 가능한 구체화하여 서로 다른 평가자가 평가하더라도 유사한 결론이 나올 수 있도록 하는 것이 필요하다(조현대, 2015). 이러한 정성평가의 주관성은 정성평가가 갖는 태생적 한계일 수도 있으나 이를 최대한 구체화시킴으로서 주관성을 최소화할 수 있다(조현대, 2015). 아울러 정성적 평가를 바탕으로 상호 토론하는 과정을 마련함으로써 주관적 한계성을 일부 보완할 수 있다. 이러한 장치는 평가결과의 일관성을 갖게 하는데 도움이 된다(조현대, 2015).