Tři sedmileté vztahy a jeden třicetiletý
Jeho první ženou byla Margot Anzenbacherová, židovská dívka, která si také prošla koncentračními tábory. Seznámili se na základě aktivit ve straně a zůstali spolu sedm let. Narodila se jim dcera Jitka, jediné hercovo biologické dítě. I jeho další manželství s kolegyní Zorou Jirákovou trvalo sedm let, po něm měl opět sedmiletý vážný vztah s dabingovou režisérkou Blankou Novákovou. Manželství s jeho poslední ženou, laborantkou Evou trvalo až do její smrti - 30 let.