Bolu Gerede’de 1961’de dünyaya gelen Yılmaz, 1982’de İstanbul Üniversitesi Hukuk Fakültesinden mezun oldu. 1987’de Amasya Hakimliği, 1989’da Doğanhisar Hakimliği, 1993’de Adalet Müfettişliği, 1998’de Adalet Başmüfettişliği görevlerinde bulunan Yılmaz, 2010-2014 yıllarında HSYK Başmüfettişliği görevini yürüttü.
Mehmet Yılmaz 12 Ekim 2014’te HSYK üyeliğine seçildi. Halen Kurulda Başkan Vekili ve 2. Daire Başkanı olarak görev yaptı.
HSYK’nın 15 Temmuz sonrası HSK’ya dönüşmesi ile Cumhurbaşkanı Erdoğan tarafından 19 Mayıs 207’de HSK üyeliğine seçildi
Mehmet Yılmaz, evli ve üç çocuk babası.