"Vidět tátu, jak je každý den namol, byl pro mě prostě náš život… Jak se to postupně horšilo, tak to bylo opravdu bolestivé a vždycky jsem si říkal, že tohle se ze mě nikdy nestane. Nikdy tohle dělat nebudu," řekl podle časopisu Hollywood Reporter Affleck, kterému se toto předsevzetí po letech zvrtlo.
Pocit úlevy přišel pro Bena a jeho bratra Caseyho až poté, co se rodiče rozvedli a otec odešel z jejich rodinného domu. Slavní bratři strávili dětství s maminkou v Bostonu, Ben se později přestěhoval do New Yorku.