장애인 학대의 가해자는 가족 및 친인척 등 법률적 관계와 동거인, 이웃, 지인, 고용주 등 모르는 사람이 포함된 타인, 장애인과 관련된 의료기관 및 교육 기관과 같은 기관 종사자 등으로 그 분포가 다양한 영역에서 나타난다.
학대행위자와 피해장애인의 관계는 가족 및 친인척, 타인, 기관종사자, 파악안됨으로 분류하고 있다. 가족 및 친인척에는 배우자, 부모, 조부모, (손)자녀, 형제자매 및 그의 배우자, 그 외 친척이 포함되며, 법률적 관계를 기준으로 한 분류이다. 타인에는 동거인, 이웃, 지인, 고용주, 모르는 사람이 포함된다. 지인에는 직장 동료, 선후배, 친구 등이 포함되며, 고용주에는 근로계약의 체결 여부와 관계없이 사실상의 고용주가 포함된다. 기관종사자는 피해장애인과 관련된 기관에 종사하는 사람을 말한다. 세부적으로 보면 피해장애인이 이용하는 의료기관의 종사자, 학교와 같은 교육기관 종사자, 장애인거주시설 및 이용시설 종사자, 그 외 피해장애인이 이용하는 장애인자립생활 센터나 장애인단체, 장애인활동지원기관과 같은 사회복지관련 기관의 종사자가 이에 해당한다.