Do Polski powrócił w 1928 po uzyskaniu doktoratów z filozofii i teologii. Powierzono mu wtedy stanowisko ojca duchownego w seminarium w Płocku. Pracował także na rzecz Akcji Katolickiej w Płocku i był odpowiedzialny za Katolickie Stowarzyszenie Kobiet na terenie diecezji płockiej. W okresie działalności w mieście krytykowany był za częste kontakty z kobietami, a szczególnie za doradzanie swojej partnerce, jak unieważnić jej małżeństwo[8]. W Płocku krążyły wówczas plotki o kokietowaniu przez księdza kobiet oraz opinia, iż jest najprzystojniejszym mężczyzną w mieście. Doszło do tego, iż w jednej z lokalnych gazet ks. Świderski został nazwany listownie przez jednego z czytelników Rasputinem. Ostatecznie publiczną krytykę ks. Świderskiego wyraził – w obecności innych księży – ks. Czesław Kaczmarek (wówczas kierownik Akcji Katolickiej w Płocku), stwierdzając, iż jego zachowanie przynosi hańbę duchowieństwu. Sam zainteresowany stwierdził natomiast, że padł ofiarą intrygi, i zdementował informacje na swój temat, podobnie jak plotkę, że ma syna i płaci na niego alimenty. Swoją obronę opisał w książce Oglądały oczy moje[9].
W 1938 doszło do kolejnego skandalu obyczajowego z jego udziałem, co ostatecznie zmusiło go do wyjazdu z Płocka[potrzebny przypis]. Z pomocą duchownemu przyszedł ks. Czesław Kaczmarek mianowany w tym samym czasie biskupem diecezjalnym kieleckim. Ks. Leonard Świderski piastował funkcję sekretarza biskupa Kaczmarka oraz kanclerza kurii. Po wybuchu II wojny światowej wraz z biskupem Czesławem Kaczmarkiem schronili się w klasztorze w Stopnicy, uznanym za miejsce bezpieczne. Nie było to dobre rozwiązanie, więc jeszcze w trakcie kampanii wrześniowej wrócili do Kielc[10].
W 1942 zrezygnował z pełnionych funkcji w Kielcach, w związku z czym został mianowany proboszczem parafii w Moskarzewie. Proboszczem parafii był do 1946, do czasu wyjazdu na Ziemie Odzyskane. Tam został proboszczem parafii w Wałbrzychu, gdzie przebywał dwa lata. W 1948 wrócił do diecezji kieleckiej i objął funkcję proboszcza parafii w Piotrkowicach. Kolejne przeniesienie nastąpiło w 1950. Przeniesiony został do parafii Nawarzyce, gdzie również pełnił funkcję proboszcza[11].
Po wojnie zaangażował się w ruch księży patriotów jawnie popierających system tzw. demokracji ludowej w Polsce. Od 1947 był także tajnym współpracownikiem UB. Swoje zapiski przekazał jednemu z „księży patriotów”. Zostały one wykorzystane przez UB w momencie rozprawy z Kościołem katolickim i nagonką na biskupa Czesława Kaczmarka, którego wraz z 20 innymi duchownymi aresztowano 20 stycznia 1951 pod zarzutem działania na szkodę Polski Ludowej, szpiegostwa na rzecz Stanów Zjednoczonych oraz Stolicy Apostolskiej, faszyzacji życia społecznego, nielegalnego handlu walutami oraz kolaboracji z hitlerowcami w czasie okupacji niemieckiej. W akcie oskarżenia wykorzystano rewelacje zawarte w dziennikach Świderskiego. Ten jednak złożył swój podpis, podobnie jak 370 innych księży, pod petycją skierowaną do prezydenta Bolesława Bieruta, w sprawie uwolnienia biskupa Kaczmarka[12].
Ostatecznie biskup Kaczmarek został skazany na 12 lat więzienia, a kilku z sądzonych z nim duchownych na wyrok dożywocia. Biskupa Kaczmarka zwolniono na mocy amnestii w 1957 i wtedy po raz kolejny posłużono się dziennikiem Świderskiego tzw. Zielonym Zeszytem w ataku na biskupa. W 1960 UB rozesłało go do wszystkich księży diecezjalnych, a nawet do samego biskupa. W dzienniku Świderskiego znajdowały się opisy rzekomych wyczynów miłosnych biskupa, w tym schadzek z zakonnicą, opisy kupowania stanowisk, nadużyć finansowych i wewnętrznej polityki kurii. W reakcji na pomówienia biskup wysłał do papieża Jana XXIII list z rezygnacją, której papież nie przyjął. Następstwem tej sprawy było jednak polecenie nuncjusza apostolskiego wystosowane do Episkopatu Polski o zajęcie się sprawą ks. Świderskiego. Ostatecznie w styczniu 1961 ks. Leonard Świderski został zawieszony, a następnie ekskomunikowany (do tego momentu pracował w parafii w Nawarzycach).
Kontynuacją tzw. Zielonego Zeszytu były wspomnienia Świderskiego opublikowane w 1962, w trzech kolejnych numerach czasopisma „Przekrój”. Następnie, Ludowa Spółdzielnia Wydawnicza wydała w nakładzie 20 tysięcy egzemplarzy autobiografię księdza Świderskiego Oglądały oczy moje skierowaną przeciwko księżom niepokornym wobec władzy ludowej, w tym po raz kolejny biskupowi Czesławowi Kaczmarkowi[14]. Jeszcze w tym samym roku ukazało się drugie wydanie tej książki. W 1966 ukazało się trzecie wydanie książki.
Była to jedna z ulubionych książek aktywu partyjnego, służąca jako źródło do krytyki Kościoła, rzekomo demaskująca jego prawdziwe oblicze. Samemu Świderskiemu organizowano w tym okresie liczne spotkania literackie, na których występował zawsze w koloratce. W 1968, także nakładem Ludowej Spółdzielni Wydawniczej, ukazała się kolejna książka Świderskiego pt. Odmieni się jako orłowa młodość twoja: pamiętników część pierwsza. W publikacji tej autor powtórzył po raz kolejny zarzuty postawione biskupowi Kaczmarkowi podczas procesu we wrześniu 1953, nie zważając na to, że trzy lata później ordynariusz został zrehabilitowany.
Ostatnie lata życia spędził, mieszkając w Cieplicach, gdzie odwiedził go kardynałHenryk Gulbinowicz. Dwugodzinne spotkanie zakończono wspólnym przełamaniem opłatka[potrzebny przypis]. Leonard Świderski zmarł 17 kwietnia 1991 i po katolickiej ceremonii pogrzebowej[14], pochowany został na cmentarzu w Jeleniej Górze[15].
