1961 yılında dünyaya gelen İsmet Yılmaz, Sivas doğumlu.
1982 yılında İstanbul Teknik Üniversitesi Denizcilik Fakültesi Denizcilik Meslek Yüksekokulu makine bölümünü ve 1987 yılında da İstanbul Üniversitesi Hukuk Fakültesi'ni bitirdi. 1990 yılında İsveç Malmö Dünya Denizcilik Üniversitesinde Master derecesini "Gemi İşletmeleri Teknik Yönetimi" alanında yaptı. 2002 yılında Marmara Üniversitesi Sosyal Bilimler Enstitüsü Özel Hukuk Ana Bilim dalında, Özel Hukuk alanında Yüksek Lisansını tamamladı. 20 yıl kamuda ve özel şirketlerde Denizcilik sektöründe Mühendis ve Müşavir Avukat olarak hizmet verdi. 31 Aralık 2002 ile 8 Mayıs 2007 tarihleri arasında Denizcilik Müsteşarlığında Müsteşar olarak görev yaptı.
2007 yılında 8 Mayıs - 29 Ağustos tarihleri Ulaştırma Bakanlığı görevini yürüten Yılmaz, 2011 Milletvekili seçimlerinde AK Parti'den aday oldu ve seçildi. İsmet Yılmaz 6 Temmuz 2011'den bu yana Milli Savunma Bakanı görevini üstlendi.
Yılmaz evli ve 3 çocuk babasıdır.
