Уроженец Уотфорда, северного пригорода Лондона, Том действует на позиции центрального полузащитника, но также может сыграть слева. В школьной команде "Пармитерс Скул" был капитаном, а в составе сборной Хертфоршира выигрывал молодежный турнир для 16-летних в итальянском Леньяно. В сезоне 2009/10 Кэрролл забил 10 голов в 21 матче молодежной Премьер-Лиги и принял участие в двух играх молодежного Кубка Англии, поэтому по итогам кампании ему было предложено подписать свой первый профессиональный контракт в карьере, чем он и воспользовался. В январе 2011 года Кэрролл отправился на правах аренды защищать цвета "Лейтон Ориент", за который провел 12 встреч и отметился голевой передачей.