개인은 사회의 공통된 가치관 및 세계관의 영향을 받는다. 그러나 사회에 통용되는 가치관은 합리적 추론에서 나오는 것이 아닌, 비합리적인 것에 뿌리를 두는 경우가 많다. 밀은 자유의 원리를 통해서 전체의 공리에 부합되지 않는 한 타인에게 통제나, 지시를 내리는 등의 자유 침해를 해선 안된다고 주장했다.
사회 속에서 대부분의 개인은 그 사회가 공유하는 공통의 가치관과 세계관의 영향에서 벗어나기 힘들다. 그런데 각종의 행동을 규정하는 가치와 도덕은 그 사회의 공리를 추구하는 데 기반을 둔 합리적 추론에서 나오기보다는 이기심, 악덕, 편견, 미신 등 비합리적인 뿌리를 가지고 있는 경우가 많다. 여론의 이름으로 널리 받아들여지고 있는 이러한 비합리적인 기준과 규범이 개인의 자유로운 생각과 행동을 통제하는 현상에 문제의식을 느낀 밀은 다수의 횡포에 맞서 성숙한 개인의 자유로운 사상과 행동을 보장할 방법을 모색하게 된다. 이것이 바로 그의 자유의 원리이다. 어느 누구도 자신을 보호하기 위해서가 아니라면 타인에게 통제와 강요, 지시를 할 수 없다는 것이다. 그런데 여기서 자신을 보호한다는 것은 타인에 의해 내게 해악이 발생하는 것을 방지한다는 것이고, 그 해악은 실제적인 해악뿐 아니라 잠재적인 해악도 포함하는 넓은 의미로 해석해야 한다고 주장한다. 그럼에도 타인에게 해악을 가하는 것이 허용될 수 있는 경우가 있는데, 이는 그러한 행위가 그 사회 일반의 이익에 부합되는 경우에 한한다. 즉 사회 전체의 공리에 부합되는 경우에 있어서는 타인에게 불이익을 주는 행위가 정당화될 수 있다는 것이다.