На місці сучасного міста здавна жили австралійські аборигени, сама назва Вуллонгонг походить із їхньої мови. Перший зафіксований візит європейців стався в 1796 році, серед них були Метью Фліндерс і Джордж Басс. На початку XIX століття були засновані перші поселення колонізаторів. З середини XIX століття основним заняттям мешканців був видобуток кам'яного вугілля.
Вуллонгонг розташований приблизно за 80 км на південний захід від столиці штату Сіднея, біля підніжжя гір Кембла і Кейра. Біля міста розташоване озеро-лагунаІллаварра.
Клімат в місті м'який, вологий, океанічний. Середня температура зими +12- +13 ° С, літа — +21- +22 ° С. Опадів (у вигляді дощу) випадає 1300—1400 мм на рік. Днів на місяць з дощем — від 7-10 взимку до 13-15 влітку. Спека влітку пом'якшується постійним бризом.