Σύμφωνα με τον ίδιο, η πρώτη φορά που ενδιαφέρθηκε για την αστρονομία ήταν όταν παρατήρησε τον Μεγάλο Κομήτη του 1843, όντας ακόμα μαθητής καθοδόν για το σχολείο του στο Κλάρκσον (Clarkson) της Νέας Υόρκης. Ο δάσκαλός του απέρριψε την ανακάλυψη που έκανε, όμως η ύπαρξη του κομήτη ανακοινώθηκε τρεις ημέρες αργότερα.[4]
Ο Σουίφτ ξεκίνησε να κάνει παρατηρήσεις στο Ρότσεστερ (Rochester) της Νέας Υόρκης ξαπλωμένος στο χιόνι ή από την οροφή ενός μύλου. Αργότερα απέκτησε πατρόνα, τον επιχειρηματία Hulbert Harrington Warner, ο οποίος χρηματοδότησε την κατασκευή ενός αστεροσκοπείου για τον Σουίφτ. Συγκεντρώθηκε ποσό 13.000 δολαρίων για την αγορά ενός τηλεσκοπίου των 16 ιντσών.[4]
Ο Warner χρεοκόπησε το 1893, με συνέπεια να διακοπεί η χρηματική υποστήριξη του Σουιφτ. Ο δεύτερος έφυγε, παίρνοντας μαζί του και το προαναφερθέν τηλεσκόπιο, για την Καλιφόρνια όπου έγινε διευθυντής του Αστεροσκοπείου του όρους Low
Παντρεύτηκε δύο φορές, το 1859 τη Lucretia Hunt in 1850 και το 1864 την Carrie D. Ο Edward D. Swift ήταν υιός του από τον δεύτερο γάμο.