Dal 1990 al 1991 è stato Comandante del Battaglione corazzato M. O. Butera presso L'Aquila[2].
Dal 1995 al 1996 è stato Comandante del Reggimento Corazzato di Teulada.
Dal 1996 a1 1997 è stato Capo Ufficio Reclutamento, Stato ed Avanzamento dello Stato maggiore dell'Esercito[2] e fino al settembre 2000 è stato Capo Ufficio Reclutamento, Stato ed Avanzamento dello Stato maggiore della difesa. Dal 1997 al 2000 è stato inoltre membro del Comitato NATO per l'ingresso delle donne nelle Forze Armate della NATO e membro del Comitato consultivo del Capo di Stato Maggiore della Difesa per l'ingresso delle donne nelle Forze Armate Italiane[3].
Promosso generale di brigata, dal settembre 2000 al settembre 2001 è stato Comandante della Brigata meccanizzata "Granatieri di Sardegna"[2].
Dal 19 aprile 2002 al 7 giugno 2006 è stato inoltre Presidente del Consiglio Intermedio di Rappresentanza dell'Ispettorato per il Reclutamento e le Forze di Completamento del personale militare.
Dal 10 marzo 2004 al 18 settembre 2007 è stato Capo Reparto Affari Giuridici ed Economici del Personale dello Stato Maggiore dell'Esercito.
Il 27 gennaio 2014 è uno dei membri della Delegazione Parlamentare italiana che fa visita a Massimiliano Latorre e Salvatore Girone, i due militari italiani trattenuti in India a causa dell'incidente della Enrica Lexie[11].
Ad inizio 2016 annuncia la sua candidatura alle primarie del PD per il candidato a sindaco di Roma. Ottiene 1.320 preferenze (il 3%). Alle successive elezioni comunali Rossi viene candidato dal Centro Democratico nella lista Più Roma-Democratici e Popolari a sostegno del candidato PD Roberto Giachetti, senza essere eletto.
Il 29 dicembre dello stesso anno viene confermato Sottosegretario alla Difesa nel Governo Gentiloni, e il 19 gennaio 2017 gli vengono attribuite le deleghe.[14]
Nel giugno del 2017 presso la Sala della Regina a Montecitorio, Camera dei Deputati, consegna al Presidente di Pissta, dr. Iano Santoro, il Premio Giovanni Falcone, controfirmato da Maria Falcone (sorella del magistrato vittima di mafia).
Il 1º ottobre 2017, l'inviato Filippo Roma del programma televisivo Le Iene, denuncia che Rossi ha fatto assumere con regolare contratto il figlio Fabrizio come assistente parlamentare del deputato Mario Caruso — con cui condivide l'ufficio alla Camera dei deputati — il quale avrebbe continuato per un anno e mezzo a far lavorare con le stesse mansioni, ma senza contratto e senza stipendio, una ragazza che inizialmente era stagista. In un colloquio (registrato di nascosto) con questa ultima Caruso dapprima afferma e successivamente nega che il contratto del figlio di Rossi, sebbene formalmente legale, serviva in realtà a mascherare il fatto che era il padre a pagare il figlio (in altre parole, attraverso questo meccanismo, Rossi avrebbe assunto il figlio nel suo stesso ufficio della Camera, senza che il figlio dovesse mai presentarsi al lavoro).[17] Già in altre occasioni lo stesso Roma aveva contestato a Rossi un uso discutibile dell'auto blu. Sono trascorsi pochissimi giorni e Rossi che si trovava in missione in Australia per conto del Dicastero, rimette volontariamente le deleghe affidategli dal ministro, restando sottosegretario, per “non coinvolgere l’amministrazione e per svolgere ogni azione in piena libertà e con maggiore serenità”, considerandole “accuse infondate e lesive della mia persona, insinuazioni che infangano, ancora una volta, la mia reputazione”.[18] Rientrato in Italia dalla missione a Sydney Rossi ha chiesto formalmente di essere ascoltato dal Collegio dei Questori della Camera dei Deputati ed è stato sentito in data 17 ottobre nell’ambito dell’istruttoria indetta dalla Presidenza della Camera sulla vicenda. Al termine di quest'ultima, sono state le dichiarazioni dell’Ufficio di Presidenza della Camera a far chiarezza “il Sottosegretario Rossi non è stato neppure oggetto dell’istruttoria, tenuto conto dell’assenza di qualsiasi rilievo nei suoi confronti. Così come il rapporto del figlio con l’On. Caruso è risultato legittimo”.
«Premiato per la capacità di stabilire con l’Amministrazione Comunale e con il tessuto sociale romano relazioni e rapporti di assoluto rilievo, presupposti che hanno consentito, in piena collaborazione, il raggiungimento di obiettivi di elevata importanza tra le varie parti interessate.» — 2011[20]