신제도주의 경제학파들은 신고전주의 경제학파들의 합리적인 개인을 긍정적으로 보지 않았다. 거래시 제도가 없다면 거래에 대해 감시와 당사자 탐색 등과 같은 거래비용이 발생하여 시장의 효율성이 낮아진다고 주장했다. 
특히 신제도주의 경제학파들은 신고전주의 경제학파들이 상정하는 합리적인 개인에 대한 가정에 의문을 제기한다. 즉 신제도주의 경제학파들은 시장에서 거래가 이루어질 때 개인의 제한된 합리성으로 인해 적당한 거래 당사자를 탐색하거나 거래를 제대로 이행하는지 감시하는 등의 다양한 거래비용이 발생한다고 주장한다(이근주, 2010). 이에 교환 및 거래가 생산적으로 이루어지지 않게 되어 각 개인들은 자신의 재산권을 가치 있게 활용할 수 없게 되는 것이다(최병선, 2006). 이와 같이 시장의 효율성을 저해하는 거래비용은 여러 가지 방법으로 측정될 수 있는데 그 중 거래의 속성을 가지고 간접적으로 측정하는 방법이 가장 대표적이다. 거래의 속성에는 환경의 불확실성(environmental uncertainty), 거래의 빈도(transaction frequency), 자산 특수성(asset specificity)이 포함되며, 특히, 자산 특수성이 클 경우 거래를 내재화하는 것이 효율적이다(권태형, 2011).