연구개발평가시스템의 구축에 있어, 일관성 유지를 위해 대부분 평가자 선정의 일관성을 통한 방안으로 처리하고 있다. 다만, 정성평가의 경우, 주관성의 문제 발생의 소지가 있어, 최대한 평가를 구체화하고 상호 토론 하는 등의 과정으로 한계성을 보완해야 한다. 공통 평가항목을 제시하고, 이를 평가 단계별로 일관성을 갖춰 연구 계획부터 연구결과물에 반영될 수 있도록 하는 것이 중요하다. 물론, 과제 특성 상, 사업별 특성을 반영한 추가 운영과 가중치 조정 등의 조치는 필요하다.
연구개발사업평가시스템 구축에 있어서 공통 적용할 수 있는 평가시스템을 제시하고 일관성 있게 운용함으로써 연구자들의 편의성 및 예측 가능성 제고할 수 있기 때문에 현행 각 부처에서 시행하고 있는 다양한 프로그램에서는 이를 반영시키고 있다. 그러나 이러한 일관성을 유지하기 위한 제도로 대부분이 평가자 선정의 일관성을 중심으로 하여 평가시스템의 일관성을 유지하고 있다. 예를 들어 일반적으로 선정된 평가위원은 1차(서면), 2차(발표)평가에 가급적 모두 참여토록 하여 평가의 일관성 유지하고 있으며 이들 위원 중 일부를 선정 연차 중간평가 과정에 위촉하고 있다. 그러나 정성 평가의 경우 일관성을 위해서는 평가위원의 선정 뿐 아니라 평가항목을 가능한 구체화하여 서로 다른 평가자가 평가하더라도 유사한 결론이 나올수 있도록 하는 것이 필요하다. 이러한 정성평가의 주관성은 정성평가가 갖는 태생적 한계성일 수도 있으나 이를 최대한 구체화시킴으로서 주관성을 최소화할 수 있다. 아울러 정성적 평가를 바탕으로 상호 토론하는 과정을 마련함으로서 주관적 한계성을 일부 보완할 수 있다. 이러한 장치는 평가결과의 일관성을 갖게 하는데 도움이 된다. 또한 유형별로 유사한 R&D사업의 공통 평가항목을 제시, 평가의 일관성과 체계성 도모하는 것도 중요하다. 과제 특성 상 차별적으로 적용해야 할 평가 항목이 있더라도 기본적으로는 공통평가 항목을 설정해서 평가의 일관성을 갖도록하는 것이 필요하다. 예를 들어 선정평가단계에서는 연구계획 연구역량이 평가되면 중간평가 단계에서는 연구성과 연구계획을 평가함으로서 연구계획이 이어지도록 하고 최종평가 단계에서는 중간단계의 성과가 연구목표 달성 연구결과 수준 결과활용 및 파급에 반영되도록 함으로서 일관성을 갖도록 하는 것이다. 단, 사업별 특성을 반영한 가중치 조정, 특성화항목 추가 운용 가능토록 하는 것이 필요하다.