간통은 쌍방의 의사합치가 이루어졌으므로 사건 당사자 간의 피해자는 없다. 따라서 간음행위여부에 따라 구성요건해당성 판단에서 심사해야 한다. 부부 외 사람과의 성관계가 판단의 중요한 부분이다.
간통은 위에서 검토한 바와 같이 성기의 결합행위가 간음행위이고 쌍방의 의사의 합치가 이루어졌으므로 사건의 쌍방 당사자 간에 사실상의 피해자는 없다. 즉 피해자의 의사의 개념 자체가 존재하지 않는 것이 가능하다. 따라서 쌍방의 성행위가 간음행위인가 아닌가를 구성요건해당성 판단단계에서 심사하는 것이 핵심이다. 결국 이러한 간음행위의 개념은 “기혼자의 배우자 이외의 자와의 성관계(성기삽입행위)” 라고 볼 수 있으며, 배우자 이외의 자의 개념이 판단의 가장 중요한 부분이다. 이는 정상적인 법률상의 부부 사이에 아무런 문제가 없는데도 일방 당사자가 성교행위를 행한 경우와 사실상 혼인관계가 파탄된 경우에 법률상 배우자 이외의 자(가령, 사실혼의 상대방)와 성교행위를 한 경우로 나누어서 판단해 볼 수 있다.