Уортън, чийто баща е методистки мисионер от гренадско-шотландски произход, а майка му - член на кралското семейство на ганайското племе фанте, се преселва в Дарлингтън, Англия през 1882 г., за да учи за методистки проповедник.[3] Скоро след това обаче се отдава на спорта. Започва да играе като аматьор във ФК Дарлингтън през 1985 г., но се занимава и с други спортове - колоездене, крикет и лека атлетика, като дори изравнява световния рекорд за аматьори в спринта на 100 ярда през 1886 г.[2] Като аматьор играе и за Престън Норт Енд и е част от състава, стигнал полуфинал за ФА Къп през 1887 г. Напуска тима година по-късно, за да се концентрира върху спринтовете и така пропуска да бъде част от станалия известен като „Непобедимите“ тим на Престън Норт Енд, който печели шампионата и ФА Къп през 1889 г. без загубен мач. Все пак през въпростата година се завръща във футбола, подписвайки професионален договор с Родъръм Таун, а през 1891 г. става и съдържател на таверна в Родъръм. През 1894 г. преминава в Шефилд Юнайтед, но там е резерва на „Дебелия“ Уилям Фоулки. Все пак успява да запише един мач в Първа дивизия, като по този начин се превръща в първия чертокож футболист, изиграл мач в елита на Англия.[2] Година по-късно играе за Стейлибридж Роувърс, но след спор с ръководството през 1897 г. преминава в Аштън Норт Енд, като отваря и магазин за табак. След фалита на отбора се завръща в Стейлибридж Роувърс, преди да изиграе последния си сезон за Стокпорт Каунти във Втора дивизия в началото на 20 век, преди да прекрати кариерата си заради проблем с алкохола. Впоследствие работи като миньор.