Бежал в июле 1915 во Францию, где служил в военной миссии в Париже. С августа по сентябрь 1915 участвовал в боях на французском фронте, а с октября по ноябрь на сербском фронте, затем вернулся в Россию.
После Октябрьской революции Румша примкнул к Белому движению и был назначен начальником штаба гарнизона Екатеринбурга. В декабре 1917 назначен командиром батальона Первого Польского корпуса. 25 января 1919 из польских частей сражавших против большевиков было принято решение о создании 5-й Польской Сибирской дивизии которую возглавил Румша. Дивизия принимала непосредственное участие в боях в Сибири против большевиков в районе Транссиба, занималась охраной, подавлением антиколчаковских восстаний. Так 7 декабря 1919 в городе Ново-Николаевске произошло восстание белого 2-го Барабинского полка, которое под командованием Казимира Румшы было полностью подавленно. С наступлением большевиков, роль 5-й Польской Сибирской дивизии изменилась, и она стала арьегардом Белой армии. В результате кровопролитных боев возле железнодорожный станций Тутальская, Литвиново и Тайга, 5-я польская дивизия понесла большие потери. Об этим боях писал в своих мемуарах комиссар Кучкин[5]:
«Такая уверенность основывалась на том, что это были уже последние бои с Колчаком — армия его была разгромлена, царству адмирала наступал конец. Белая гадина издыхала, оставалось только добить ее. Но пленные офицеры предупреждали об опасности, ждавшей нас впереди. Они говорили, что за Ново-Николаевском нам придется столкнуться с дивизией польских легионеров. Эта дивизия была сформирована из военнопленных бывшей царской армии, но основу ее составляли сынки панов и купцов Польши, выразившие желание бороться против Советской власти. Это были отчаянные головорезы, классовые враги трудящихся не только Советской России, но и польских рабочих и крестьян. Легионеры служили верой и правдой Колчаку, и он ими по-настоящему дорожил. Словом, это была отборная гвардия.
1-я бригада дивизии настигла легионеров в районе станции Литвиновка 22 декабря. Завязался бой. Используя три бронепоезда, поляки стойко обороняли свои позиции, но под напором 235-го, 236-го и 237-го полков отступили к станции Тайга, оставив на поле боя много убитых, раненых, бронепоезд и 18 орудий.
Вторая стычка с белополяками произошла 23 декабря в двух километрах от станции Тайга. Бой начался в 10 часов утра. Бронепоезда противника врезались в наши цепи, нанося нам большие потери. Полки 1-й и 2-й бригад несколько раз ходили в атаку, но сломить сопротивление легионеров так и не смогли. Перегруппировав силы, бригады 27-й дивизии в тот же день пошли в обход противника. Они ринулись на него с юго-запада. Завязался ожесточенный бой. В безумной ярости набрасывались легионеры на наши полки, но чувствовалось, что это была уже агония. После упорнейшего шестичасового боя польская дивизия была разбита наголову, а ее остатки бежали. 6 тысяч легионеров попали в плен.»
После тяжелейших боев польские легионеры были заблокированы большевиками в районе станции Клюквенная. Обескровленные постоянными боями часть поляков приняла решение сдаться, но Казимир Румша с группой единомышленников отказался капитулировать и с боем прорвался в Иркутск, откуда добрался до контролируемой белыми Маньчжурии откуда на кораблях отправился в польский порт города Гданьск.
Советско-польская война
Из Сибири в Гданьск вернулось 120 офицеров и 800 рядовых, первоначально рядовых хотели демобилизовать, а офицеров отправить на отдых, но почти все изъявили желание продолжить войну против большевиков. 14 июля 1920 из солдат 5-й дивизии польских стрелков которые вернулись в Польшу формируют Сибирскую бригаду под командованием Казимира Румши, доукомплектовывают бригаду добровольцами. 13 августа в момент отправки на фронт численность бригады составляла порядка 3000 человек. 14 августа бригада Румши была уже на фронте в составе 5-й Армии.
7 августа 1941 года назначен на должность заместителя коменданта Сборной станции офицеров Ротсей. С 18 ноября 1941 года исполнял обязанности коменданта станции, а 12 декабря 1941 был назначен комендантом.
Bogusław Polak.T. 2/2 // Kawalerowie Virtuti Militari 1792–1945. — Koszalin: Wydawnictwo Uczelniane Wyższej Szkoły Inżynierskiej w Koszalinie, 1993. — ISBN 83-900510-0-1.
Stanisław Łoza. Czy wiesz kto to jest? Uzupełnienia i sprostowania. — Warszawa, 1939.