Dětství v Buckinghamském paláci však neprožíval sám, ale se svou o dva roky mladší sestrou - princeznou Anne. Král Jiří VI., jeho dědeček, o něm před svou smrtí pronesl, že je "prostě rozkošný, když si tak vykračuje po pokoji". Nebyl soutěživý a podle spisovatelky Sewardové neprojevoval zvláštní náklonnost ke sportu. Princezna byla jeho pravý opak.