Народився 24 грудня 1890 року в Санкт-Петербурзі в сім'ї токаря-фіна Хейкі Койвунена і був записаний у метричну книгу фінської лютеранської парафії Св. Марії.
Прізвище Койвунен офіційно зберігав до 1915 року, хоча у мистецьких колах вже від 1910-х років став відомим як Койву.[5] Його батьки померли від сухот, коли хлопчик був ще маленьким і раннє дитинство він провів у Санкт-Петербурзі у свого дядька по матері, сажотруса Хартікайнена. Згодом митець тепло відгукувався про роки свого життя в сім'ї дядька, хоч і не залишив спогадів про петербурзький період.
У Санкт-Петербурзі Рудольф познайомився з роботами російського ілюстратора Івана Білібіна, які справили на нього велике враження.
Від 1907 до 1910 року навчався у Школі малюнка при Асоціації мистецтв, де його викладачем був Хуго Сімберг.
1914 року був на студіях у Парижі, а в 1924 році — в Італії. Став відомим у Фінляндії як ілюстратор дитячих та юнацьких книг, казок. Під впливом знаменитого Леона Бакста створив низку театральних декорацій.
У 1931 році познайомився з меценатом Августом Тицем, який запропонував художнику переїхати працювати в його особняк, де художник таким чином позбувся клопоту з оплатою житла та ательє.
Помер 11 жовтня 1946 року в Гельсінках від апоплексичного удару просто за робочим столом.
Після смерті художника заснували національну премію імені Рудольфа Койву для дитячих та юнацьких письменників. До 1983 премія присуджувалася Фондом Рудольфа Койву.
