연구결과가 실험적 처치에 의한 것이라고 확신하려면, 엄격한 실험설계에 기초해 평가 연구를 해야하지만, 그러기엔 비용과 시간등 여러가지 걸림돌이 있다. 그 대안인 유사실험 연구설계는 의도하지 않은 요소의 영향으로 결과가 왜곡되어 그 타당성에 영향을 미칠 수 있다는 문제가 있다.
먼저 연구설계의 문제를 살펴보기로 하자. 우리가 어떤 교정 프로그램이 얼마나 재범을 억제하였는가 혹은 감소시켰는가에 대한 결론을 내리기 위해서는 엄격한 실험 설계가 필요하다. 엄격한 실험설계에 기초해서 나온 결과만이 그 결과의 차이가 다른 요인이 아닌 바로 실험적 처치(프로그램)에 의한 결과라고 확신할 수 있기 때문이다. 그러나 엄격한 실험설계에 기초한 평가 연구는 비용이 많이 들고, 오랜 연구기간이 필요하며, 엄격한 매칭을 할 만한 비교집단을 구하기 어려울 뿐만 아니라, 윤리적인 문제도 제기되어 현실적으로 이루어지기 어렵다(Cunnean and Luke, 2007). 이에 대한 대안으로 유사 실험 연구 설계를 하는데, 이것 또한 타당도에 영향을 미칠 수 있다. 예를 들어, 자발적으로 실험에 참여한 집단과 그렇지 않은 집단의 코호트 조사 결과는 자발적 참여 여부가 실험집단과 통제집단 간의 차이에 영향을 미치는 중요한 요인으로 작용할 수 있기 때문에 두 집단 간의 차이가 실험적 처치(특정 교정 프로그램의 적용)에 의한 것이라고 단정 짓기 어렵기 때문이다. 즉 실제 측정된 개입과 관련 없는 요소들에 의해서 재범률이 높아지거나 낮아질 수 있으며, 이 경우 프로그램의 실제 성과는 왜곡될 수밖에 없다는 것이다(Richard, 2011).