במהלך שנות ה-90 של המאה ה-19 הצטרף לונדון למפלגת העבודה הסוציאליסטית של אמריקה, וב-1896 הציג את מועמדותו לבית התחתון של בית המחוקקים של מדינת ניו יורק. שנתיים אחר כך התמודד שוב, הפעם מטעם המפלגה הסוציאל-דמוקרטית של אמריקה. ב-1901 התמזגה מפלגתו לתוך המפלגה הסוציאליסטית של אמריקה, וב-1904 הוא התמודד שוב בבחירות לבית המחוקקים, מטעמה.
לונדון הושפע מאוד ממהפכת 1905 ברוסיה. הוא החל לנאום בכנסים המוניים שנועדו לגייס תרומות ליהודים שנפגעו בפוגרומים שהתרחשו ברוסיה בתקופה זו, וכן שימש כמגייס כספים למענם מטעם ארגון הבונד היהודי. הוא השתתף בשביתת יצרני הגלימות של 1910 ונתן ייעוץ משפטי לארגון העובדות הידוע ILGWU, פעילויות שבעקבותיהן הפך לאחד ממייצגי המפלגה הסוציאליסטית המוכרים ביותר בציבור. ב-1914 נבחר לקונגרס האמריקאי, והפך לחבר הקונגרס השני שנבחר מטעם המפלגה הסוציאליסטית (לאחר ויקטור ברגר מוויסקונסין).
כחבר קונגרס הוא הצביע נגד הצטרפות ארצות הברית למלחמת העולם הראשונה, אך לאחר הצטרפותה תמך בפעולותיה, דבר שהוביל לביקורת של חברי מפלגתו. כן התנגד בחריפות לחוק הריגול של 1917, שאסר ביקורת על המדינה או השתתפות פעילה בארגונים קומוניסטיים.
באשר לתנועה הציונית, לונדון סירב להביע תמיכה בהצהרת בלפור הבריטית שניתנה ב-1917, אך הביע עמדות חיוביות כלפי הקמת מדינה יהודית סוציאליסטית. הוא עורר את התנגדותם של אישי ציבור יהודים רבים: הציונים התנגדו לו מכיוון שלא תמך בהצהרת בלפור, האורתודוקסים התנגדו לו מכיוון שלא היה דתי, והעשירים ובעלי השררה פעלו נגדו מכיוון שהיה סוציאליסט.
בעקבות מתנגדים רבים שצבר במהלך כהונתו הן מחברי מפלגתו והן מחוצה לה, הוא הפסיד בבחירות לקונגרס של 1918. הוא נבחר מחדש לכהונה שנייה ב-1920, אך הפסיד שוב בבחירות של 1922.
לונדון מת בתאונת דרכים ב-1926, בגיל 54, בעת שחצה כביש סואן בניו יורק. לפני מותו הספיק להביע את רצונו לשחרר את האיש שגרם למותו.
עשרות אלפי אנשים חלפו על פני גופתו כדי לחלוק לו כבוד אחרון לפני קבורתו, ומאות אלפים השתתפו בהלווייתו. הוא נקבר בשדרת הסופרים בבית הקברות היהודי "מאונט כרמל" בקווינס שבניו יורק.
על שמו נקראו בית ספר בלואר איסט סייד, וכן אחד המבנים ב"כפר הקואופרטיבי" ברובע זה.