Matásek je počtvrté ženatý. Jeho první manželkou byla hudebnice Eva Turnová, basistka skupiny The Plastic People of the Universe. S druhou ženou, novinářkou a dramaturgyní Simonou Matáskovou, má dceru Lindu. Se třetí, Kateřinou, dceru Marii a syna Benjamina. A v současnosti je počtvrté ženatý s módní blogerkou Evou Matáskovou, se kterou má šestiletého syna Antonína. Se všemi svými expartnerkami má ale podle vlastních slov dobrý vztah.
"Snažil jsem se vyvarovat rukojmích v rozchodech, to je to nejhorší, co člověk může udělat. Mám na mysli samozřejmě děti. Pozitivní na tom je, že se s těmi ženami můžeme po letech vidět a třeba spolu i něco dělat. Že jsme si to srovnali, částečně i odpustili a můžeme jít dál."
Své ambice do dětí prý nikdy nepromítal, a než aby z nich vychovával například špičkové sportovce, vzal je na zmrzlinu. "Myslím, že daleko lepší je si jen tak sednout na gauč, půl dne se tam válet, kecat o blbostech, smát se, lechtat se."
