До 1906 года работал в архитектурном бюро «Уско-Нюстрём — Петрелиус — Пенттиля», а в 1906 году вернулся в Выборг, где вместе с архитектором Класом Акселем Гюльденом открыл частное архитектурное бюро «Гюльден-Ульберг» (Gyldén&Ullberg), просуществовавшее до 1909 года. После закрытия бюро начал самостоятельную практику. В 1927 году был сопредседателем специальной топонимической комиссии местного отделения Финского литературного общества (совместно с О. Меурманом). Изначально был одним из видных представителей национального романтизма, но в процессе работы его взгляды претерпели эволюцию, и после строительства нескольких зданий в переходном неоклассическом стиле архитектор стал приверженцем функционализма.
В 1926 году на съезде архитекторов Фенноскандии, прошедшем в Выборге, постройки Ульберга получили высокую оценку. С 1932 по 1936 годы занимал пост главного архитектора Выборга, после чего его сменил Р. Юпюя.
В 2019 году в ознаменование 90-летия здания гостиницы «Выборг» и 140-летия со дня рождения её архитектора — Уно Ульберга — на фасаде здания гостиницы установлены памятные доски на русском и финском языках[2].
Контора и магазин «Фабрики прохладительных напитков и минеральных вод Фр. Шалиена», ул. Мира, 8. (1908, совместно А. Гюльденом)
«Кулмахалл» — торговое здание с кинотеатром, завершившееся на обоих торцах высокими щипцами. Пересечение пр. Ленина и Красной пл. (1908, совместно с А. Гюльденом, снесён в 1937 году)
В 1934 году перестроил гостиницу «Seurahuone» (фин. Дом собраний) под городской зал, театр и театральный ресторан на 150 мест (входила в комплекс зданий Новой ратуши. После войны здание разобрано)
