Lise öğrenimini Kayseri Lisesi’nde tamamladı.
İstanbul Teknik Üniversitesi Elektrik-Elektronik Fakültesi Elektrik Mühendisliği Bölümü’nü bitirdi. Kayseri Elektrik Üretim Şirketi’nin Yönetim Kurulu Üyesi, Kayseri ve Civarı Elektrik TAŞ’nin Yönetim Kurulu Üyesi ve Genel Müdürü olarak görev yaptı.
2002 genel seçimlerinde AK Parti’den Kayseri milletvekili adayı oldu, 22. Dönem’de TBMM’ye girdi. Başbakan Erdoğan’ın enerji danışmanlığı görevini yürüttü. 1 Mayıs 2009’da 60. Hükümet’te gerçekleşen kabine değişikliği sonucu Enerji ve Tabii Kaynaklar Bakanlığı görevini Mehmet Hilmi Güler’den devraldı.
Yıldız, 1 Aralık 2009 tarihinde hükümetin nükleer santral projesine karşı yaptığı eylemlerle kamuoyu gündemine sık sık gelen Greenpeace’in Akdeniz ofisini ziyaret etti. Kendisine Nükleer ile Yaşamaya Hazır mısınız? şeklinde bir tişört de hediye edilen Yıldız, böylece Greenpeace Türkiye Ofisi’ni ziyaret eden ilk bakan oldu.
Evli ve 4 çocuk babasıdır.