단체 협약이 산업별 노동조합과 교섭으로 체결되지만 단일 교섭 체계로 통합되어 진행되지는 않는다. 하나의 산업별 노동조합 내에서도 직종별로 진행하여 체결하기도해 여러 개의 단체 협약이 체결되는 경우가 있다. 
단체 협약이 산업별 노동조합의 교섭을 통해 체결되지만 그 교섭 단위가 전체 연방과 전체 직종이 단일 교섭 체계로 통합되어 진행되는 것은 아니다. 하나의 산업별 노동조합 내에서도 지부(Ort)-지역(Bezirke)-주(Land)-연방(Bund)의 지역적 단위로 나뉘어진 중층적 조직 구조 로 구성되어 있어 지역별로 교섭 단위를 분리하기도 한다. 특히 DGB 산하 산업별 노동조합의 경우에는 최근 노동조합 간의 연합과 합병 등을 통해 단일 노조를 구성하면서 기존 조직의 자치 구조가 유지되는 경우도 나타나고 있다. 그 결과 하나의 산업별 노동조합 내에서도 직종별로 별도의 교섭을 진행하여 단체 협약을 체결하기도 하며, 단일 산업별 노조 내에서도 여러 개의 단체 협약이 체결되는 경우가 발생하고 있다.