총괄평가를 하는 동안 참여자들은 이전에 선정된 사용 시나리오를 수행한다. 각 사용 시나리오를 수행하는 동안 진행자는 참여자를 관찰·기록하나 참여자들의 행동에 영향을 끼치지 않도록 한다. 진행자는 결과에 대해 중립적인 입장을 취하고 사실 확인을 해야 한다.
총괄평가를 수행하는 동안 테스트 참여자들은 이전에 선정된 사용 시나리오를 수행하라는 요청을 받는다. 각 사용 시나리오를 수행하는 동안 테스트 진행자는 테스트 참여자를 관찰하고 각 태스크와 하위 태스크 또는 단계에 대한 그들의 성취도를 다음과 같이 기록한다. 정확한 사용, 사용오류, 클로스 콜, 사용상의 어려움, 발생하는 사용 문제점의 원인을 파악할 수 있도록 충분한 상호작용 세부사항으로 관측 자료를 수집하는 것이 중요하다. 총괄평가 동안에, 진행자는 참여자들의 행동에 영향을 끼치지 않도록 하는 것이 중요하다. 총괄평가 목적은 대략적인 실제적 사용 상황을 가늠해서 사용자들이 실제 사용상황에서 의료기기와 어떻게 상호작용하는지를 배우는 것이다. 진행자는 테스트 결과에 대해 중립적인 입장을 취해야 하며 사실을 확인해야 한다. 예를 들어, 진행자는 실제적인 사용을 방해하기 때문에 참여자에게 "생각한 것을 말로 해 주세요." 라고 요구해서는 안 된다. 그러나 진행자는 참여자가 자연스럽게 말하는 모든 의견들은 기록해야 한다. 모든 관측자료가 반드시 객관적인 것은 아니다. 사용자 행동에 대한 일부 평가는 사용적합성 전문가의 전문 지식과 경험을 바탕으로 한 관찰의 주관적 해석이다.