En 1871, il est nommé secrétaire d'ambassade à Londres, alors que son père y est ambassadeur.
En mai 1872, il devient sous-chef de cabinet du duc Decazes, puis rédacteur politique au ministère des affaires étrangères, puis en 1873-1874 chef de cabinet au ministère de la justice occupé par son père. Mis en disponibilité après la crise du 16 mai 1877, Il quitte la carrière diplomatique avec le grade de secrétaire d'ambassade de 1re classe.
Aux Élections législatives de 1893, il est élu député de la circonscription de Château-Gontier, en Mayenne et réélu continuellement jusqu'à sa mort, en 1906. De 1895 à 1906, il est aussi conseiller-général du canton de Craon.
Il épouse à Paris le 26 septembre 1871 Pauline de La Forest d'Armaillé (Paris, 22 décembre 1851 - Paris 8e, 26 juin 1928), fille du comte Louis de La Forest d'Armaillé, membre de l'Institut, et de Marie Célestine Amélie de Ségur, femme de lettres. Elle est la petite-fille du comte Philippe-Paul de Ségur et de sa seconde épouse, Célestine Gabrielle de Vintimille du Luc, elle-même arrière petite fille du roi Louis XV. Dont :
Albertine de Broglie (1872-1946), mariée en 1891 avec Pierre de Luppé, marquis de Luppé (1866-1934), dont postérité ;
Maurice de Broglie, 6e duc de Broglie, physicien (1875-1960), marié en 1904 avec Camille Bernou de Rochetaillée (1883-1966), dont une fille morte enfant ;
Philippe de Broglie (1881-1890) ;
Pauline de Broglie, femme de lettres (1888-1972), mariée en 1910 avec Jean Thomas de Pange, comte Jean de Pange, écrivain (1881-1957), dont postérité ;
Louis de Broglie, 7e duc de Broglie après son frère, mathématicien et physicien, prix Nobel de Physique (1892-1987), sans alliance[1].
L'agriculture moderne. Supplément du Petit Journal no 198 ()
« Victor de Broglie (1846-1906) », dans le Dictionnaire des parlementaires français (1889-1940), sous la direction de Jean Jolly, PUF, 1960 [détail de l’édition]
