Per Axel Rydberg wurde am 6. Juli 1860 als Sohn von Ernest Adolf Fredrik und Thekla Elfrida (geborene Otterström) Rydberg im schwedischen Od geboren. Er besuchte das königliche Gymnasium in Skara.
1882 migrierte Rydberg von Schweden in die Vereinigten Staaten, um zunächst in Michigan in Eisenerzbergwerken zu arbeiten. Sein Ziel, durch diese Arbeit eine Anstellung als Ingenieur im Bergbau zu erhalten, konnte er aufgrund eines schweren Unfalls nicht erreichen. 1884 startete er ein Studium an der University of Nebraska, zeitgleich unterrichtete er auch Mathematik an der Luther Academy in Wahoo. Während dieser Zeit entwickelte er unter dem Einfluss von Professor Charles Edwin Bessey sein Interesse an Botanik.
Kurz nachdem 1891 er seinen Bachelor-Abschluss erhielt, erkundete er mit Unterstützung des United States Department of Agriculture den Westen Nebraskas, es folgten weitere Expeditionen zu den Black Hills in South Dakota (1892) und den Sandhills im Westen Nebraskas (1893). 1895 erhielt er von der University of Nebraska seinen Abschluss als Master. Eine weitere Expedition, diesmal in Montana und die Veröffentlichung einer Monographie über die Rosenartigen (Rosales) für die Flora of Nebraska waren die letzten Aktivitäten an dieser Hochschule.
Ab Herbst 1895 arbeitete Rydberg an der Columbia University in New York unter Anleitung von Nathaniel Lord Britton an seiner Dissertation. Weitere Expeditionen führten ihn in dieser Zeit erneut nach Montana sowie in den Yellowstone-Nationalpark; Auftraggeber war hierbei der New York Botanical Garden. Den Doktortitel erhielt Rydberg 1898, der Titel seiner Dissertation lautet Monograph of the North American Potentilleae.
Anfang 1899, als er die während seiner letzten Expeditionen gesammelten Herbarbelege bearbeitet, stellte der Botanische Garten seine ersten neun festen Angestellten an, zu denen auch Rydberg gehörte. Zunächst wurde seine Anstellung als Assistant Curator bezeichnet, ab 1908 bis zu seinem Tode war er der Kurator des Herbariums. Auch als Angestellter des Botanischen Gartens nahm er an einer Vielzahl von Expeditionen zur botanischen Erforschung der Vereinigten Staaten teil, unter anderem im südöstlichen Colorado, Utah, Minnesota, Iowa, Nebraska, Kansas sowie South und North Dakota. Eine Expedition im Jahre 1929, die ihn nach Kansas und Minnesota führen sollte, musste aufgrund einer Krankheit abgebrochen werden.
Rydberg heiratete seine Frau Alfrida Amanda am 11. November 1903 in New York, gemeinsam hatten sie vier Kinder: Arthur Alfred, Elsa Margreta, Lilly Irene und Linea Astrid. Rydberg verstarb am 25. Juli 1931 in New York.