Po úspěšném studiu univerzity se stále více věnoval hudbě. V počátcích své budoucí úspěšné kariéry nahrál dvě nezávislá alba, z nichž druhé s názvem Live at Jimmy's Uptown (2001) začal prodávat na svých vystoupeních.
Rok 2001 znamenal pro Johna Legenda seznámení s populárním raperem a hudebním producentem Kanyem Westem, který začínajícího zpěváka příležitostně najímal na zpívání refrénů.
V roce 2003 navázal John Legend spolupráci se známějšími kolegy z hudební branže a pěvecky spolupracoval na několika jejich písních.
