V roce 2005 se usadil a oženil se s herečkou Jennifer Garnerovou, se kterou mají tři děti. Manželství, během kterého Affleck skončil v protialkoholní léčebně, ale nevydrželo.