1999년 시즌 개막을 얼마 남겨놓지 않은 상황에서 전립선암 판정을 받은 그는 암 수술 후 현장에 복귀하여 팀을 월드시리즈 우승으로 이끌었다.
 양키스 감독으로 재임하며 지도자로 승승장구하던 그에게도 위기가 있었다. 1999년 시즌 개막을 얼마 남겨놓지 않은 상황에서 정기 건강검진을 받던 중 전립선암 판정을 받은 것. 하지만 그는 암 수술 후 단 2개월이란 짧은 치료기간만 품에 안은 채 서둘러 현장에 복귀했다. 그리고 보란 듯이 그해 팀을 또다시 월드시리즈 우승으로 이끌었다. 이를 두고 당시 미국 언론들은 “토리 감독의 뛰어난 지도력이 암이라는 무서운 병마저도 물리쳤다”고 대서특필했다.
 이탈리아 이민자의 후손인 토리 감독은 1940년 7월 18일 뉴욕 브루클린 지역에서 태어났다. 그의 아버지는 한때 뉴욕시에서 형사생활을 했던 공무원이었지만 집에서는 부인에게 손찌검을 일삼던 인물이었다. 토리 감독은 기자에게 “아버지에게 수시로 얻어맞아 아파하던 어머니의 모습은 내 삶에서 가장 지우고 싶은 기억 중의 하나”라고 말할 만큼 아버지의 폭력은 토리 감독뿐만 아니라 그의 형제에게도 많은 영향을 끼쳤다.
 토리 감독의 누나는 수녀가 되어 평생을 혼자 살고 있다. 토리 감독은 비록 아버지처럼 가정폭력을 일삼는 난폭한 성격은 아니지만 한 여자에게 정착하지 못하는 아버지의 영향 탓인지 지금까지 세 번의 결혼을 통해 총 4명의 자녀를 두고 있다. 특히 현 부인이자 그의 세 번째 부인인 앨리(Ali)와는 무려 18년이란 나이 차를 극복해 결혼 당시 미국 내에서 큰 화제가 되기도 했다. 둘은 결혼 후 ‘조 토리 재단’을 설립해 뉴욕 시내에 토리 감독 어머니의 이름을 딴 ‘마거릿(Margaret)의 쉼터’를 운영하며 가정폭력 피해자를 돌보고 있다. 토리 감독은 또 가정폭력을 예방하기 위한 각종 공익광고에 꾸준히 자신의 목소리를 기부하는 등 봉사활동도 펼치고 있다. 최근에는 교육을 통한 가정폭력 예방과 피해자 구제를 위해 전문상담가를 중·고등학교에 파견하는 일도 지원하고 있다. 토리 감독에게 이 같은 일을 꾸준히 펼치는 이유에 대해 묻자 다음과 같은 답을 내놓았다.
