1975’te Mustafa Barzani ile arasındaki görüş ayrılıkları netleşmeye başlayan Talabani, parti ideologu İbrahim Ahmet önderliğindeki KDP içindeki bölünmelerden birine katıldı.1966’da bu grup, merkezi hükümet ile anlaşmış ve KDP’ye karşı askeri bir darbe düzenledi. Mart 1970’de bu sefer KDP ve hükümet anlaşınca, grup dağıldı.
1975’te Kürdistan Yutseverler Birliği’ni (KYB) kuran Talabani, bir yıl sonra hükümete karşı silahlı eyleme başladı. 1988’de Irak hükümeti kimyasal silah kullanmasıyla KYB’nin ağır bir yenilgi almasının ardından, Talabani Kuzey Irak’ı terketmek zorunda kalarak İran’a sığındı.
1991 Körfez savaşı ve Kuzey Irak’taki Kürtlerin merkeze karşı ayaklanmalarıyla Talabani’nin siyasi hayatında yeni bir dönem başlattı. Kuzey Irak’ta Batılı devletlerin müdahalesi ile güvenli bölgelerin kurulmasının ardından KDP ve KYB arasında kısa süren bir balayı dönemi başladı ve Kuzey Irak’ta 1992 yılında yapılan seçimlerle KYB-KDP ortak yönetimi kuruldu. İki parti arasındaki görüş ayrılıkları sebebiyle 1994’te çatışmalar yeniden başladı ve ABD ve İngiltere’nin girişimiyle iki parti arasında yapılan görüşmeler sonucunda 1998’de Washington’da barış anlaşması imzalanmıştır. Bu anlaşma, 4 Ekim 2002’de yenilendi.