Depois de seu primeiro consulado, Vergínio foi governador da Germânia Superior. Quando Caio Júlio Víndice se revoltou contra Nero em 67, marchou com seu exército contra ele e o derrotou no ano seguinte perto da moderna Besançon na Batalha de Vesôncio. Depois da queda de Nero, ainda no mesmo ano, suas legiões o aclamaram imperador por que Galba era aliado de Víndice, mas Vergínio se recusou a aceitar. Depois que Otão foi derrotado por Vitélio na Primeira Batalha de Bedríaco, Rufo aconselhou o Senado a reconhecê-lo como imperador. Novamente lhe ofereceram o trono e mais uma vez ele recusou. Depois da guerra civil, Vergínio se retirou para suas terras em Alsium, na costa da Etrúria a noroeste de Roma, onde estudou, compôs poemas e patrocinou um grupo literário. Entre seus convidados estavam o retóricoQuintiliano e Plínio, o Jovem, que havia se tornado seu guardião depois da morte precoce de seu pai.
Em 97, depois do assassinato de Domiciano, Nerva foi eleito imperador pelo Senado Romano e escolheu o já idoso Vergínio como seu co-cônsul, que foi convocado de volta a Roma. Porém, Vergínio escorregou e quebrou a bacia quando estava para dar um discurso em Roma e acabou morrendo logo depois, aos 82 anos. Nerva lhe concedeu um funeral de estado.
Durante o funeral, o cônsul Tácito realizou a oração funerária. Plínio preservou as palavras que Vergínio que estivessem em sua lápide: "Hic situs est Rufus, pulso qui Vindice quondam Imperium asseruit non sibi sed patriae" ("Aqui jaz Rufo, que, depois de derrotar Víndice, não tomou o poder, mas entregou-o à sua pátria"). Casa de Vergínio em Alsium ficou para Plínio em seu testamento.
