1969 Kovaljov oli mukana perustamassa Neuvostoliiton ensimmäistä ihmisoikeusjärjestöä nimeltään Aloiteryhmä ihmisoikeuksien puolustamiseksi NL:ssa (ven.Инициативная группа по защите прав человека в СССР, Initsiativnaja gruppa po zaštšite prav čeloveka v SSSR). Sittemmin hänestä tuli keskeinen yhteyshenkilö Liettuan toisinajattelijoihin. Kovaljov oli aktiivisesti mukana toimittamassa samizdat-lehtiä.
Hänet pidätettiin 8. joulukuuta 1974 ja tuomittiin Vilnassa neuvostovastaisesta kiihotus- ja propagandatoiminnasta (rikoslain 70 pykälä). Kovaljov vietti seitsemän vuotta työleireilläPermin alueella ja Tšistopolin vankilassa, ja myöhemmin hänet pakotettiin muuttamaan kolmeksi vuodeksi Kolymaan. Sittemmin hän palasi Kolymasta ja asettui Kalininiin (nykyinen Tver).
Perestroikan aika
Mihail Gorbatšovin noustua valtaan ja aloitettua perestroika-uudistuspolitiikkansa Kovaljovin sallittiin palata Moskovaan vuonna 1986. Hän jatkoi aktivistin työtään ja oli mukana perustamassa useita keskeisiä humanitaarisia järjestöjä ja aloitteita:
Memorial-järjestöä, joka pyrkii vaalimaan Neuvostoliiton poliittisen vainon uhrien muistoa ja edistämään heidän rehabilitointiaan. Kovaljov on toiminut yhtenä Memorialin puheenjohtajista vuodesta 1990;
Neuvostoliiton luhistuttua Kovaljov alkoi toimia virallisesti politiikassa. Tammikuussa 1991 hän oli mukana kirjoittamassa Venäjän ihmisoikeusjulistusta, ja antoi merkittävän panoksen Venäjän federaation perustuslain 2 artiklan (”Ihmis- ja kansalaisoikeudet ja -vapaudet”) laadintaan.
1990–1993 hän oli Venäjän kansanedustajien kongressin jäsen ja kuului Venäjän federaation korkeimman neuvoston puheenjohtajistoon. Hän oli presidentti Boris Jeltsinin ihmisoikeuskomission puheenjohtaja ja duuman ihmisoikeusvaltuutettu.
1993–2003 Kovaljov oli duuman jäsen. 1996–2003 hän osallistui myös Euroopan neuvoston parlamentaarisen yleiskokouksen työhön Venäjän duuman edustajana sekä oikeusasiain ja ihmisoikeuksien valiokunnan jäsenenä.
1993 hän oli perustamassa liikettä ja sittemmin poliittista puoluetta nimeltään Venäjän valinta (ven.Выбор России, Vybor Rossii), jonka nimeksi muutettiin myöhemmin Venäjän demokraattinen valinta (ven.Демократический выбор России, Demokratitšeski vybor Rossii).
Vuoden 1994 jälkeen Kovaljov vastusti Venäjän sotatoimia Tšetšeniassa, teki yhteistyötä kapinallisten kanssa ja kehotti Venäjän sotilaita antautumaan. Hän oli itse Groznyissa todistamassa ensimmäistä Tšetšenian sotaa. Hänen päivittäinen raportointinsa puhelimen ja television välityksellä edesauttoi Venäjän julkisen mielipiteen kääntymistä sotaa vastaan. Kovaljovin toiminta johti siihen, että hän menetti ihmisoikeusvaltuutetun asemansa duumassa 1995.[2]
Kovaljov kritisoi avoimesti Boris Jeltsinin ja Vladimir Putinin hallintojen autoritaarisia taipumuksia. Kovaljov erosi 1996 presidentin ihmisoikeuskomission johdosta julkaistuaan Jeltsinille suunnatun avoimen kirjeen, jossa hän kritisoi presidenttiä demokratian periaatteiden pettämisestä. 2002 hän organisoi julkisen tutkintakomitean, joka pyrki selvittämään Moskovan kerrostaloräjäytykset 1999 (ns. Kovaljovin komissio)[3]. Komission työt jäivät kesken, koska sen jäsen Sergei Jušenkov murhattiin,[4][5] toinen jäsen Juri Štšekotšihin kuoli äkillisesti (väitteiden mukaan tallium-myrkytykseen)[6][7] ja sen oikeudellinen neuvonantaja ja tutkija Mihail Trepaškin pidätettiin.[8][9]
Kovaljov sai lukuisia palkintoja ja tunnustuksia. Vuonna 2005 hän esiintyi He valitsivat vapauden (Они выбирали свободу) -nimisessä neliosaisessa tv-dokumenttisarjassa, joka kertoo Neuvostoliiton toisinajattelijaliikkeestä.
Emma Gilligan. Defending Human Rights in Russia: Sergei Kovalyov, Dissident and Human Rights Commissioner, 1969-96 (BASEES/Curzon Series on Russian & East European Studies) RoutledgeCurzon. 2003. ISBN 0-415-32369-X