מבלי שסיים את לימודיו בתיכון בגלל היעדר כסף לשכר לימוד, גרשוני עבר בהצלחה בחינות כניסה ללימודי רוקחות ובשנת 1895 התחיל ללמוד את המקצוע באוניברסיטת קייב. בשנת 1896 הוא נעצר לראשונה בגין קשריו עם סטודנטים שהתנגדו לשלטון הצאר, אך שוחרר תוך זמן קצר. לאחר שגרשוני קיבל את תעודת הרוקח, הוא התחיל לעבוד במוסקבה במכון לרפואה ניסיונית.
בשנת 1898 עבר למינסק, שם הקים מעבדה למחקר בקטריולוגי. בזמנו הפנוי לקח חלק פעיל בארגון פעילות תרבותית וחינוכית בעיר: ארגן בית ספר יסודי לבנים והעביר הרצאות בבית ספר של סופי שבוע למבוגרים. גרשוני גם ארגן הקראות ספרים פומביות (עבור אנשים שלא יודעים או מתקשים לקרוא) כחלק מפעילות של איגוד הרופאים במינסק, והעמיד אוסף ספרי לימוד נודד עבור בתי ספר.
התקרבותו לחוגים תומכי המהפיכה ברוסיה
גרשוני נסחף יותר ויותר אל רעיונות מהפכניים וארגן בית מלאכה לייצור מכונות לבתי דפוס לא חוקיים ומעבדה לייצור דרכונים מזויפים. יחד עם יקטרינה ברשקובסקיה ארגן יבוא ספרות בלתי לגאלית לרוסיה. בשנת 1899 הצטרף ל"מפלגת הפועלים לשחרור פוליטי של רוסיה" ומהר מאוד הפך למנהיגה. בתקופה זו השפיעה המהפכנית הרוסיה המפורסמת יקטרינה ברשקובסקיה על גרשוני. כתוצאה מהשפעתה החליט להתמסר לחלוטין לרעיון המהפכה.
במרץ 1900 התגלה בית הדפוס הלא חוקי של גרשוני, וב-19 ביוני הוא נעצר. במהלך חקירותיו שנוהלו על ידי ראש מחלקת הביטחון במוסקבה, סרגיי זובאטוב, גרשוני הכחיש מכל וכל את הקשר שלו עם ארגונים מהפכניים, מה שהיווה הפרה של הקוד האתי הלא רשמי של המהפכנים. ביולי שוחרר ממעצרו.
הקמת המפלגה המהפכנית-סוציאליסטית
בתחילת 1901 גרשוני ירד למחתרת. בקיץ של אותה שנה הסתובב בניז'ני נובגורוד, סמרה, אופה, וורונז' וערים אחרות, תוך שהוא יוצר קשרים עם מהפכנים סוציאליסטים. בסוף 1901 יצא לחו"ל כנציג האגף הדרומי והמערבי של המהפכנים הסוציאליסטיים. בז'נבה השתתף במשא ומתן על הקמת המפלגה הסוציאל-רבולוציונרית יחד עם יונה אזף, מיכאיל גוץ (רו') וויקטור צ'רנוב. גרשוני הקים גם את ה"תא הלוחם" בתוך המפלגה שאמור היה לבצע פיגועים נגד אנשי השלטון הרוסיים, האחראים, לטענת אנשי המפלגה, לדיכוי האזרחים.
פיגועי הטרור
פעולת הטרור הראשונה שגרשוני ארגן התרחשה ב-2 באפריל1902, בסנט פטרבורג, כאשר סטפן בלמשוב ירה שתי יריות אקדח בשר הפנים של רוסיה דמיטרי סיפיאגין והרג אותו. ב־5 באפריל 1902, במהלך הלווייתו של סיפיאגין, גרשוני תכנן לארגן פעולת טרור נוספת נגד התובע הראשי קונסטנטין פובדונוסצב (רו') ומושל סנט פטרבורג ניקולאי קלייגלס (רו'), אך בגלל ההיסוס של האנשים המבצעים, הפעולות האלה לא יצאו אל הפועל.
גרשוניː "הארגון הלוחם לא רק מבצע פעולה של הגנה עצמית, אלא גם פועל כדי לפגוע, ובכך מכניס פחד וחוסר סדר אל תוך מוסדות השלטון."
ב־29 ביולי1902 פועל בשם תומאס קצ'ורה ירה במושל העיר חרקוב, הדוכס איון אובולנסקי (רו') במהלך טיולו של השני בפארק. הסיבה לפגיעה הייתה שותפותו של אובולנסקי בדיכוי של מרד האיכרים בשנת 1902 באזור חרקוב (רו'). גרשוני ליווה אישית את קצ'ורה לזירה, אך בסופו של דבר אובולנסקי רק נפצע קל.
צ'רנוב כתב על דעותיו של גרשוני לגבי טרור של מהפכנים:
"... גרשוני דרש מהמהפכה את אותו הדבר שאנשים אנושיים דורשים מהמפקדים - להימנע מקורבנות מיותרים, לחוס על המנוצחים, לכבד את האינטרסים ואת חייהם של האנשים החפים מפשע. הוא תמך במעשה הראשון של קליאייב, כאשר זה יצא עם פצצה מוכנה כנגד הנסיך סרגיי, אך נסוג, כאשר ראה ליד הנסיך את אשתו וילדיו "[4].
ב 6 במאי1903 חבר הארגון הלוחם, שהיה עובד רכבת, בשם יגור דולבוב (רו') ואדם נוסף שזהותו לא ידועה עד היום, ירו למוות במושל העיר אופה, ניקולאי בוגדנוביץ' (רו'), בפארק הקתדרלה של העיר. בוגדנוביץ' היה אחראי לירי חי אל הפגנת הפועלים.
הפופולריות של גרשוני לאחר מעשי טרור אלה גדלה מאוד. ב. צ'רנוב כתב על פעילות הארגון הלוחם: "למעשה, מרכז הארגון הלוחם, הדיקטטור של הארגון, היה גרשוני." שר הפנים ויאצ'סלב פלבה הכריז בפני סרגיי זובאטוב, שתמונתו של גרשוני תעמוד על שולחנו עד שזה ייעצר. זובטוב עצמו שיבח את יכולותיו המהפכניות-טרוריסטיות של גרשוני וכינה אותו "אמן בענייני טרור".
מעצר ומשפט
ב־13 במאי1903 גרשוני נעצר בקייב. בפברואר 1904 בית המשפט המחוזי הצבאי בסנט פטרסבורג דן את גרשוני למוות, אלא שלאחר מכן גזר הדין הוחלף במאסר עולם[5]. גרשוני ריצה את עונשו בהתחלה בכלא במבצר שליסלבורג המיועד ל"אסירים פוליטיים שנידונו לעבודות פרך", ולאחר סגירת בית הכלא הזה (ב־8 בינואר1906), בבית הכלא לעבודות פרך באקאטוי (רו'), במזרח סיביר.
הבריחה לחו"ל
בשנת 1906 תומכיו של גרשוני ארגנו את בריחתו מהכלא. בכלא בו שהה גרשוני, האסירים היו מייצרים כרוב משומר ומוציאים את התוצרת שלהם מחוץ לכותלי הכלא. גרשוני הוחבא בתוך חבית ריקה, כאשר מעליו הייתה שכבה דקה של כרוב משומר, כדי שהשומרים לא יגלו אותו. בדרך זו גרשוני הצליח לצאת מן הכלא והתחיל להתקדם לכיוון מזרח המדינה. לאורך כל מסלול הבריחה, החברים ארגנו "תחנות ביניים" בהן גרשוני היה יכול להחליף סוסים ולהמשיך הלאה. בעיר ולדיווסטוק, הוא עלה על אונייה והגיע לארצות הברית[6] לעיר סן פרנסיסקו דרך יוקוהמה ביפן[7].
בארצות הברית הוא נאם בעצרות המוניות של תומכי המהפכה הרוסית וכתוצאה מכך הצליח לגייס 180 אלף דולר למפלגתו. בפברואר1907 גרשוני השתתף בכנס השני של המפלגה הסוציאל-רבולוציונרית בפינלנד, ונבחר לוועד המרכזי של המפלגה. הוא היה אמור להנהיג, ביחד עם יונה אזף, את כל פעילות הטרור של המפלגה.
מותו
אצל גרשוני התגלתה סרקומה בריאה ובסוף 1907 נסע לטיפול בבית הבראה בשווייץ. עוד לפני מותו, כשהוא כבר היה במצב רפואי קשה, גרשוני גילה שאזף, שהפך לראש הארגון הלוחם לאחר מעצרו של גרשוני (ואחר כך, כאמור, שותפו להנהגת המפלגה), הואשם בפרובוקציה וריגול לטובת הבולשת הרוסית. גרשוני לא האמין בכך ואף רצה לנסוע לרוסיה לבצע, ביחד עם אזף, התנקשות בניקולאי השני, על מנת לשקם את המוניטין של יורשו במעשה זה. התוכנית לא יצאה אל הפועל בגלל מותו של גרשוני ב-29 במרץ1908.