신제도주의 경제학파들은 신고전주의의 합리적인 개인에 대한 가정에 동의하지 않고 시장에서 거래 시 다양한 거래비용이 발생하여 재산권이 잘 활용되지 않는데, 이처럼 시장의 효율성을 저해하는 거래비용의 예는 환경의 불확실성 등의 거래의 속성이다.
특히 신제도주의 경제학파들은 신고전주의 경제학파들이 상정하는 합리적인 개인에 대한 가정에 의문을 제기한다. 즉 신제도주의 경제학파들은 시장에서 거래가 이루어질 때 개인의 제한된 합리성으로 인해 적당한 거래 당사자를 탐색하거나 거래를 제대로 이행하는지 감시하는 등의 다양한 거래비용이 발생한다고 주장한다. 이에 교환 및 거래가 생산적으로 이루어지지 않게 되어 각 개인들은 자신의 재산권을 가치 있게 활용할 수 없게 되는 것이다. 이와 같이 시장의 효율성을 저해하는 거래비용은 여러 가지 방법으로 측정될 수 있는데 그 중 거래의 속성을 가지고 간접적으로 측정하는 방법이 가장 대표적이다. 거래의 속성에는 환경의 불확실성(environmental uncertainty), 거래의 빈도(transaction frequency), 자산 특수성(asset specificity)이 포함되며, 특히, 자산 특수성이 클 경우 거래를 내재화하는 것이 효율적이다.