За даними перепису 2011 року у Вайтгорсі мешкало 23276 осіб, у ньому проживає приблизно 75 % населення території Юкон. Середній вік мешканців міста становив 37,1 року. Близько 20 тисяч містян спілкуються вдома англійською мовою, трохи більше 1 тисячі — французькою, понад 300 — німецькою. 90 % мешканців міста — нащадки вихідців з Європи[5].
Вайтгорс названо за однойменною швидкою річкою Вайт-Горс-Рапідс (англ.White Horse rapids), яка протікала через містечко до будівництва греблі біля міста (з будівництвом греблі річка перемінилася на озеро).