Родившийся в Лондоне, Джо начал карьеру в «Вест Хэме». Толчком к новому витку в его карьере стал, как ни странно, перелом ноги. После перелома ноги Джо вернулся в команду уже в качестве основного игрока, а также стал вызываться в состав сборной Англии. В 2003 году Коул был продан в «Челси», в связи с тяжёлым финансовым положением «молотков». Сумма сделки составила 6,6 млн фунтов.

 Джо вызывали в сборную Англии во время проведения Кубка мира-2002 и Евро-2004. В конце сезона-2004/05 Коул находился на пике формы и показывал блестящую игру. В марте он был назван игроком месяца премьер-лиги и был вызван в сборную Англии. Кубок Лиги стал его первым трофеем в карьере, к которому впоследствии добавился титул победителя премьер-лиги.

В сезоне 2005/06 гг. Джо стал одним из лидеров «Челси». Но, проведя в 2005/06 гг. свой лучший сезон за «Челси», Джо Коул столкнулся с серьезными проблемами в следующем. Травма выбила его из строя надолго. Он сумел вернуться в команду лишь в конце сезона, чтобы принять участие в первом тайме победного финала Кубка Англии на новом «Уэмбли«, где «Челси» обыграл «Манчестер Юнайтед«. Проблемы со здоровьем начались у Джо еще во время предсезонной подготовки, хотя на чемпионате мира Коул был одним из лидеров сборной Англии. Во втором подряд чемпионском сезоне «Челси» Джо Коул запомнился голом в ворота «МЮ», принесшим «синим» победу в премьер-лиге. В том году Коул провёл на поле 26 матчей, забив при этом 8 мячей. Сезон-2007/08 он опять начал в качестве основного футболиста «Челси».

Сезон 2008/2009 Джо почти весь провёл на больничной койке.  Начало сезона 2009/10 Коул продолжал лечиться,.