Rok 1963 byl pro Jackie obzvlášť smutný nejen proto, že musela čelit tragické smrti svého muže, ale také proto, že krátce předtím přišla o svého nejmladšího syna Patricka, jenž po porodu žil pouhé dva dny.
Svým dětem chtěla dopřát klidnější život, a proto se stáhla do New Yorku. Všechny pracovní a politické nabídky odmítla s tím, že chce svůj život zasvětit péči o děti a uchování památky na Jacka Kennedyho. Na jeho počest nechala v Bostonu vybudovat knihovnu.