Od roku 1969 byl Mládek ženatý s Evou Mládkovou, s níž má syna Štěpána. Před šesti lety bulvární novináři odhalili, že se po pětačtyřiceti letech v tichosti rozvedl a odešel ke své nové rodině. S partnerkou a zároveň manažerkou kapely Banjo Band Libuší Roubychovou má dvě děti. Mimo to je také otcem nemanželského syna Mikuláše s někdejší milenkou Jaroslavou Hlavešovou.