Po rozchodu s Lopezovou našel Ben oporu a lásku u herečky Jennifer Garnerové, se kterou si zahrál ve filmu Pearl Harbor (2001) a Daredevil (2003). Pár si řekl své "ano" v roce 2005 a společně přivítali na svět tři děti - dcery Violet a Seraphinu a syna Samuela.
V roce 2015 se podle Page Six objevila informace o tom, že se pár rozhodl pro rozvod. Garnerová a Affleck společně chodili na párové terapie několik let a snažili se vztah zachránit. Boj však Jennifer v roce 2015 vzdala. Herečka už podle zmíněného serveru měla dost Affleckových nevěr a nepomohly jim ani jeho závislosti na hazardu a alkoholu.
"Nikdy jsem si nemyslel, že budu rozvedený. Nechtěl jsem se rozvést. Nechtěl jsem se stát rozvedenou osobou… Nechtěl jsem, aby moje děti byly z rozvedené domácnosti," pověděl podle Hollywood Reporteru Affleck. Ten se pak později rozmluvil i o tom, jak ho trápila ona skutečnost, že do domu přinesl alkohol a byl před svými dětmi opilý.
"Začal jsem pít víc a víc a víc a bylo pro mě opravdu obtížné přijmout to, že jsem byl alkoholikem… Začal jsem pít každý den. Přišel jsem domů po práci a začal pít a pít, dokud jsem nevytuhnul na gauči," prozradil.
"Rozvod je velmi bolestivý a alkoholismus také… Když vaše děti trpí, to je taková bolest, kterou už nikdy nezapomenete… Snadno se nezapomíná, snadno se neodpouští a je to těžké… Nevyhnete se tomu, dětem způsobit bolest. Bolest je součástí života. To mě trochu uklidňuje," dodal Affleck s tím, že lituje toho, že ho děti musely často vidět opilého.
