Polívka má šest dětí, tři dcery a tři syny. Nejstarší Kamilu má z manželství se Stanislavou Polívkovou, matkou druhorozené Anny, ze které se stala také známá herečka, je zase Evelyna Steimarová. Svazek s Francouzkou Chantal Poullain přinesl Polívkovi prvního syna Vladimíra, který se rovněž dal na hereckou dráhu. S manželkou Marcelou je ženatý teprve od roku 2020, ale mají spolu tři potomky: syny Jana, Františka Antonína a dceru Marianu.
