평가위원의 전문성 수준은 해당 분야 전문가 풀과 선정의 객관성에 달려 있다. 평가자 전문성은 모집단의 정보 내용과 질적 수준에 좌우되며 분야의 세분화에 따라 평가위원 역시 세분화된다. 학문과 과학기술분야의 전문가 부족은 평가위원 전문성 부족으로 이어지게 된다.
이러한 맥락에서 평가위원의 전문성 수준은 평가위원의 해당 분야의 전문가 풀(pool)이 갖추어져 있는가와 전문가를 객관적으로 선정할 수 있는가에 달려 있다고 할 수 있다. 이는 첫째, 연구개발사업의 각종 평가에서 평가자의 전문성은 1차적으로 평가자를 선정하는 모집단의 정보 내용과 질적 수준에 좌우되기 때문이며 연구 분야가 세분화되고 전문화될수록 관련 평가위원도 이에 맞추기 위해 세분화되어 결국 다양한 과학기술분야에서 많은 평가위원이 필요로 하게 된다(이찬구, 2013). 예를 들어 최근 과학기술분야는 바이오나 나노 분야 등에서 새로운 영역이 창출되는 한편 BIT, NBIT 등 융합이 활발해져 다양한 분야의 연구가 수행되고 이에 맞는 평가인력도 다양하게 필요하기 때문이다. 다양한 학문이나 과학기술분야에서 전문가의 양적 및 질적 부족문제는 평가위원의 전문성 부족으로 직접적으로 이어지며 특히 논문이나 특허와 같이 과학기술적 성과의 질적 평가를 위해서는 해당 분야의 전문가 외에는 평가가 실질적으로 불가하다