Первой командой 15-летнего Джордана стала "Блантир Виктория". В 1968 году он подписал свой первый профессиональный контракт с клубом "Гринок Мортон", а два года спустя перешёл в "Лидс Юнайтед" за 15 000 фунтов стерлингов.

Во время выступления Джо за "Лидс" ему выбили четыре передних зуба. Впоследствии он стал использовать зубные протезы, но убирал их перед каждым матчем в целях безопасности, из-за чего получал свою знаменитую беззубую ухмылку, устрашающую соперников.

Изначально, перспективы Джордана заиграть в основе были небольшими, так как в линии нападения "Лидса" действовала наигранная и эффективная связка Аллана Кларка и Мика Джоунса. Лишь к 1972 году Джордан стал регулярным игроком основного состава. Однако он не попал в состав на финальный матч Кубка Англии против "Сандерленда", в котором "Лидс" проиграл со счётом 1:0. Спустя несколько дней, 16 мая 1973 года, Дон Реви включил его в состав на финал Кубка Обладателей Кубков против "Милана", в котором "Лидс" вновь уступил со счётом 1:0. Три дня спустя, 19 мая, Джордан дебютировал за сборную Шотландии в матче против сборной Англии на "Уэмбли". Англичане победили со счётом 1:0.

В сезоне 1973/74 Джордан провёл за "Лидс" 25 матчей в чемпионате и забил 7 голов, а "Лидс Юнайтед" выиграл чемпионский титул. Также в этом сезоне он провёл восемь матчей за сборную Шотландии, забив в них два гола. По итогам отборочной кампании он был включён в состав сборной Шотландии на Чемпионат Мира 1974 года.

В "Лидсе" из-за постоянных проблем Мика Джоунса с коленом Джордан стал ключевым нападающим клуба. В сезоне 1974/75 "Лидс" дошёл до финала Кубка Европейских Чемпионов, в котором уступил "Баварии" со счётом 2:0. Этот финал стал высшей точкой "Лидса" под руководством Дона Реви; после этого ряд опытных игроков покинул команду.

В 1978 году Джордан перешёл в "Манчестер Юнайтед" за 350 000 фунтов стерлингов. Он помог "красным дьяволам" достичь финала Кубка Англии 1979 года, в котором они уступили "Арсеналу" со счётом 3:2. Он выступал за "Юнайтед" до 1981 года, после чего перешёл в итальянский "Милан". За "Милан" Джордан провел 52 матча и забил 12 мячей.

После ухода из "Милана" Джордан играл за клуб "Эллас Верона", а в 1984 году вернулся в Англию, перейдя в "Саутгемптон". Три года он боролся с постоянными травмами, после чего перешёл в "Бристоль Сити", где и завершил карьеру.

В настоящее время является тренером основного состава "Тоттенхэм Хотспур" и одним из ассистентов Харри Реднаппа.