Trabzon’da 21 Ekim 1948’de dünyaya gelen Yılmaz, İstanbul Mühendislik ve Mimarlık Akademisi İnşaat Fakültesi’nden mezun oldu. Yılmaz, iş insanı, medya patronu, siyasetçi ve spor yöneticisi olarak tanındı. 1982-1983 sezonunda Trabzonspor’un 8. başkanı olarak seçilen Mehmet Ali Yılmaz, bu görevini 1987-1988 sezonun ortasına kadar sürdürdü. Bir senelik aranın arkasından 1989’da yine başkanlık koltuğuna oturan Yılmaz, 1992’ye kadar görevde kaldı. Üçüncü başkanlık süreci 1996’nın sonundan 2000 yılının sonuna kadar devam eden Mehmet Ali Yılmaz, kulüpte en uzun süreyle başkanlık icra eden şahıs oldu.
Trabzonspor, Yılmaz’ın başkanlığı döneminde 1982-1983 sezonunda Cumhurbaşkanlığı Kupası, 1983-1984 sezonunda lig şampiyonluğu ve Türkiye Kupası, 1984-1985 sezonunda Başbakanlık Kupası olmak suretiyle 4 kupa kazanmıştır. Kulüpte 1988’de meydana getirilen Divan Başkanlık Kurulu’nda verilen önergeyle Mehmet Ali Yılmaz, kulübün onursal başkanlığı ünvanını elde etti. Yılmaz, Bordo-Mavili kulüpte tesisleşmenin de ilk adımlarını attı. Mehmet Ali Yılmaz’ın adı kulübün mevcut tesislerine verildi.
Mehmet Ali Yılmaz, 1991 genel seçimlerinde Doğru Yol Partisi’nden Trabzon milletvekili seçilerek, 49 ve 50. hükümette Spordan Görevli Devlet Bakanlığı görevini yapmış oldu. Mehmet Ali Yılmaz’ın Bakanlığı döneminde Türkiye Futbol Federasyonu özerk bir yapıya kavuştu. Yılmaz, futbolda havuz sistemini düzenleyen kişilerden biri oldu.