고령자학대의 또 다른 문제는 가해의식과 피해의식이 높지 않다는 것으로 학대 피해자는 자신을 돕는 사람이 학대를 가한 것은 자신의 책임도 있다는 식으로 생각하는 경향이 있다.
더욱이 가해의식 및 피해의식이 매우 희박한 것도 고령자학대의 문제 중 하나이다. 즉 피학대자인 고령자는 고령자인 자신을 개호해주고 도와주는 가해자가 폭력적인 행위를 하는 데에 자기에게도 잘못이 있기 때문이라고 생각하여 제3자에게 피해를 호소하는 것을 포기하기도 한다. 또한 가해자의 경우도 피학대 고령자를 보살피고 간호하는 과정에서 생긴 스트레스 등으로 거친 언동을 하는 것을 피해자에 대한 간호 등의 지원의 대가로 여기고 어느 정도의 학대에 대해서 정당화 시키는 경우가 있다. 따라서 고령자 학대에 대하여 가해자와 피해자 모두 비교적 낮은 가해자의식·피해자 의식을 가지게 되는 것이다.