Zvláštní kapitolu jeho života tvořily ženy. S herečkou Romy Schneiderovou žil na přelomu padesátých a šedesátých let, současně však měl vztah i s Nico, německou zpěvačkou, která vystupovala se skupinou The Velvet Underground. V roce 1962 mu porodila syna Christiana Aarona.
