Rok 2004 byl v Johnově kariéře zlomovým, získal svou první nahrávací smlouvu u již zmiňovaného hudebního producenta Kanyeho Westa.
V témže roce vydal své debutové album Get Lifted, které zaznamenalo velký úspěch. Jen v USA se prodaly dva miliony kusů, celosvětově okolo tří milionů. Album získalo certifikát "platinová deska", což je ocenění hudebního vydavatelství na úspěšný prodej díla.
V říjnu 2006 vydal John Legend druhé studiové album Once Again, které bylo podobně úspěšné.