Johansen var tidlegare medlem av Sosialistisk Venstreparti, og har mellom anna vore leiar i Sosialistisk Ungdom frå 1986 til 1988, dvs. mellom leiarperiodane til Kristin Halvorsen og Paul Chaffey og i Oslo SV i perioden mellom 1990 og 1991. Før han vart politikar, var han både røyrleggjarlærling, lastebilsjåfør og pleieassistent.[2] Johansen er utdanna røyrleggjar, og var med som fagmann i hjelpearbeidet til Røde Kors etter jordskjelvet i Armenia i 1989.
Johansen var ein av tre SV-byrådar i det samarbeidsbyrådet som Rune Gerhardsen leidde i Oslo frå 30. september 1992 til 25. oktober 1995, og var då byråd for miljø og samferdsle. Under folkeavstemminga om EU i 1994 markerte byrådane Raymond Johansen og Terje Kalheim seg som EU-tilhengjarar. Etter kommune- og fylkestingsvalet i 1995, melde dei begge overgang til Arbeidarpartiet.[3]
Som statssekretær arbeidde Johansen med internasjonale ikkje-europeiske spørsmål, ikkje minst med fredsarbeidet i Palestina, Sudan, Eritrea, og Afrika elles. Frå 1996 til 2000 var Johansen avdelingsdirektør i NORAD. Fredsarbeid og utviklingsspørsmål er dei fremste interessefelta til Johansen i utanrikspolitikken, og i eigenskapen som statssekretær overlappa ansvarsområdet hans delvis fagfeltet til miljø- og utviklingsminister Erik Solheim.
På landsmøtet i Arbeidarpartiet 21. april 2009 vart han vald som partisekretær etter Martin Kolberg, før det arbeidde han som statssekretær i Utanriksdepartementet. Han hadde også same funksjon i regjeringa Stoltenberg I, frå våren 2000 til oktober 2001. Etter valnederlaget til Arbeidarpartiet ved stortingsvalet i 2001 leidde Johansen det interne utvalet som studerte valnederlaget og føreslo tiltak for å gjenreise tilliten til partiet. Han var i mellomtida generalsekretær i Flyktninghjelpen frå 2002 til 2005.
I 2022 gav Johansen ut ei bok, Gjennom krisa, om korleis det hadde vore å vera byrådsleiar under koronapandemien.[4]
