Se svou rodinou žije na britském panství
V roce 2019 se Oliver přestěhoval s celou rodinou do venkovského sídla ze 16. století, které koupili za necelých devět milionů liber (v přepočtu 260 milionů korun). Sídlo se nachází v jeho rodném Essexu na rozloze téměř třiceti hektarů. Rodina si plánuje pěstovat vlastní zeleninu a potraviny a být co nejvíce soběstačná.