Robertson naît dans le comté de Woodford, au Kentucky, le fils de l'immigrant Écossais Cornelius Robertson et de son épouse Clarissa Hill (Keech) Robertson. Lorsque Robertson n'a que quatre ans lorsque son père meurt, laissant sa mère presque sans ressource. Incapable de bien soutenir sa famille, elle met en apprentissage le jeune Robertson, quatre ans plus tard à un chapelier, qui s'installe avec le garçon en 1824 à St. Louis. Après des études de médecine à l'université Transylvania, au Kentucky, Robertson obtient son diplôme en 1835. Avec la révolution du Texas qui devient un sujet national, Robertson rejoint une compagnie de volontaires du Kentucky en tant que lieutenant et fait des plans pour aller au Texas. Cependant, ils sont retardés à La Nouvelle-Orléans et n'arrivent pas dans la république du Texas avant . Là, il rejoint l'armée du Texas et obtient une commission de capitaine.
En 1837, lorsque les hostilités de la révolution du Texas se terminent, Robertson démissionne de sa commission du Texas et repart au Kentucky, où il épouse Mary Elizabeth Cummins. Il retourne avec sa femme et plusieurs parents au Texas en , achetant des terres et s'installant à Washington-on-the Brazos. Il ouvre un cabinet médical, et devient connu à la frontière comme un combattant d'Indien au cours de six ans de campagne sporadique. Il sert également dans les forces militaires qui aident à repousser les deux invasions par l'armée Mexicaine en 1842. Après avoir travaillé comme coroner de la ville, maire et receveur des postes, Robertson construit une maison à Independence en 1845. À ce temps, la république du Texas est sur le point de devenir l'État du Texas. Robertson est élu en 1847, à la chambre des représentants de l'l'État et, en 1849 au sénat de l'État.
Lui et son épouse, Mary ont trois enfants, dont l'un meurt en bas âge. Son fils Felix Huston Robertson devient finalement un brigadier général dans l'armée confédérée.
Guerre de Sécession
Robertson est un délégué de la convention de sécession de l'État en , et par la suite lève une compagnie de volontaires pour l'armée confédérée et est élu en tant que capitaine, quand elle devient une partie officielle du 5th Texas Infantry, nouvellement levé, de la brigade de John Bell Hood. En , Robertson est promu lieutenant-colonel, puis le , colonel et commandement du régiment. Il participe à la campagne de la Péninsule, servant avec distinction pendant la bataille de sept jours et menant son régiment lors d'une charge réussie de la bataille de Gaines' Mill qui divise les lignes de l'Union.
Robertson devient populaire avec ses soldats en raison de son étrange préoccupation pour leur bien-être, à l'origine de son surnom, « tante Polly ». Il sert lors de la campagne de Virginie septentrionale et de la campagne du Maryland, où son état de santé se détériore en raison des mois d'une campagne. Au cours de la bataille de South Mountain, il tombe d'épuisement et doit être évacué du champ de bataille. Il ne rejoint pas son régiment avant la bataille d'Antietam. Cependant, sa réputation comme combattant a été remarquée, et avec la promotion de Hood au commandement divisionnaire, Robertson est nommé pour lui succéder et est promu brigadier général le . Il participe à sa première action en tant que commandant de brigade au cours de la bataille de Fredericksburg.
Gettysburg et après
À l'été de 1863, Robertson mène sa brigade en Pennsylvanie au cours de la campagne de Gettysburg. La division de Hood arrive trop tard pour la première journée de combats de la bataille de Gettysburg, mais elle joue un rôle de premier plan le deuxième jour, où Robertson mène sa brigade dans une série d'attaques percutantes, mais finalement infructueuses, sur Little Round Top. Ces attaques culminent avec le combat sur Devil's Den, au cours de laquelle ses 1st, 4th, et 5th Texas infantry, ainsi que son 3rd Arkansas Infantry subissent de lourdes pertes, qui finalement permet de prendre leur objectif, en dépit de la supériorité numérique des forces de l'Union. Robertson est blessé, ainsi que plusieurs de ses officiers au cours de cette action, qu'il décrit plus tard comme « l'une des luttes les plus chaudes que je n'ai jamais vues ».
En septembre, avec le reste du corps du lieutenant généralJames Longstreet, Robertson et la brigade du Texas sont déplacés vers le Tennessee pour renforcer l'armée du Tennessee, combattant avec distinction à Chickamauga. Cependant, la performance de Robertson lors de la campagne du Tennessee de l'est suscite la colère de Longstreet et du commandant de division Micah Jenkins. Longstreet dépose des accusations officielles en cour martiale contre le général Robertson, alléguant de défaillance en service et l'accusant de remarques pessimistes. Peu de temps avant, Robertson avait rejoint les autres brigadiers de la division en soutenant Evander M. Law contre le protégé de Longstreet, Jenkins en tant que commandant de division, ce qui a sans doute influencé Longstreet, qui avait un âpre différend avec Law. Robertson est réprimandé, remplacé en tant que commandant de la brigade du Texas, et transféré au Texas, où il commande les forces de réserve de l'État jusqu'à la fin de la guerre.
Après la guerre
À la suite de l'effondrement de la Confédération et de la reddition des forces du Texas restantes, Robertson retourne chez lui, à Independence et reprend son métier de médecin, une période marquée par le deuil, quand sa femme meurt en 1868. Il entre en politique en 1874, est nommé surintendant du bureau de l'immigration du Texas pendant deux années. Deux ans plus tard, il sert en tant qu'agent des passagers et d'émigration de l'agent pour le chemin de fer de Houston et du Texas central. Robertson épouse une veuve, Mme Hattie Hendley Hook, en 1878, et déménage à Waco, un an plus tard. Là, il continue à promouvoir la construction ferroviaire dans l'ouest du Texas.
Il occupe plusieurs hautes fonctions maçonniques, y compris le grand maître adjoint du troisième district maçonnique et du vingt-neuvième district maçonnique. Il est l'organisateur de l'association de la brigade du Texas de Hood, dans laquelle qu'il sert en tant que président à plusieurs reprises.
Il est d'abord enterré à Independence, à côté de sa première épouse et de sa mère. En 1894, son fils fait déplacé les trois corps déplacé dans le cimetière d'Oakwood (Waco, Texas).