Kimberly est né à Troy, dans l'État de New York, et a été nommé aspirant le 8 décembre 1846[1]. Il a servi à bord du sloopJamestown dans l'Africa Squadron (escadre d'Afrique) en 1847-1850[2], puis dans le Pacifique à bord de la frégateRaritan en 1850-1852[2], et a été promu aspirant (passed midshipman) le 8 juin 1852[3]. Il retourne ensuite dans les eaux africaines, à bord des sloops Decatur et Dale en 1853-1856[2], et est promu capitaine et lieutenant les 15 et 16 septembre 1855[3]. Kimberly passe quelque temps au Boston Navy Yard, puis sert à bord du sloop Germantown dans l'East India Squadron (escadre des Indes orientales)[2] entre juillet 1857 et avril 1860[4], avant de rejoindre le sloop à vapeur Richmond[2], nouvellement mis en service, qui appareille pour la Méditerranée en octobre 1860, pour finalement rentrer aux États-Unis en juillet 1861, après le déclenchement de la guerre civile[5].
Entre 1856 et 1860, il tient un carnet de gribouillis, de croquis et d'aquarelles. Parmi les thèmes abordés, on trouve des dessins géométriques, des dessins d'architecture, des caricatures, des codes de chiffrement et des croquis de ses collègues. En 2008, le musée USS Constitution Museum l'a acquis[6].
À partir de mai 1865[7], Kimberly sert à bord de la frégate à vapeur Colorado, le navire amiral de l'European Squadron (escadre européenne)[2], est promu commandant le 25 juillet 1866[3] et retourne aux États-Unis en septembre 1867[7]. Il commande le navire de réception à New York en 1867-1870, puis le sloop à hélice Benicia sur l'Asiatic Station (station asiatique) en 1870-1872[2], participe à l'expédition de Corée en mai-juillet 1871, en tant que commandant des forces de débarquement[8], puis le monitorCanonicus sur la côte est en 1873-1874[2].
Kimberly est promu capitaine de vaisseau (captain) le 3 octobre 1874[3] et commande le sloop Monongahela dans la South Atlantic Station (station de l'Atlantique Sud) en 1875-1876 et le sloop à hélice Omaha dans le Pacifique en 1877-1878[2]. Au début des années 1880, Kimberly sert au New York Navy Yard et est président du Examining and Retiring Board en 1883-1885[2], ce qui lui vaut d'être promu au grade de commodore le 27 septembre 1884[3]. [Il est nommé commandant du Boston Navy Yard en 1885[2] et atteint le grade de contre-amiral (rear admiral le 26 janvier 1887[3]. Il est ensuite nommé commandant en chef (Commander-in-Chief) du Pacific Squadron (escadre du Pacifique)[2]. En mars 1889, pendant la crise des Samoa, son navire amiral, le Trenton, est frappé par un violent cyclone alors qu'il se trouve dans le port d'Apia. Guidant ses hommes avec les mots "Si nous sombrons, faisons-le avec notre drapeau", Kimberly échoue habilement son navire amiral, ne perdant qu'un seul homme dans la tempête, qui fait naufrage[1],[9]. Après son retour aux États-Unis en janvier 1890, Kimberly est nommé président du Board of Inspection and Survey, poste qu'il occupe jusqu'à sa retraite[1], le 2 avril 1892[3].
↑"Germantown". Dictionary of American Naval Fighting Ships. Navy Department, Naval History & Heritage Command. Retrieved August 27, 2013.
↑"Richmond". Dictionary of American Naval Fighting Ships. Navy Department, Naval History & Heritage Command. 29 septembre 2005. Consulté le 27 août 2013.