אליעזר נולד בוורשה[2] לדב פינקלשטיין. הבית היה מסורתי ואליעזר למד בחדר. בנעוריו החל להיות פעיל בסניף פועלי ציון שבורשה ובמסגרת פעילותו סייע לפעילות הסניף במגוון תחומים. מאחר שהשלטונות הפולנים אסרו התארגנויות כדוגמת פועלי ציון הייתה הפעילות בסניף לא חוקית ווהפעילים נרדפו. באחד המקרים עצרו השלטונות רבים מהם[3] ואליעזר, שלא נעצר, קיבל את אישור השלטונות להיות איש הקשר בין האסירים ומשפחותיהם.
חלק מהפעילות בסניפי פועלי ציון כללה ויכוחים אידאולוגים על דרכה של הציונות ועל העלייה ארצה. בשיחות אלו דחף אליעזר למימוש החלום הציוני על ידי עלייה מיידית ארצה.
...גלגל ההיסטוריה ימעך אותנו, אם לא נעלה בעצמנו לארץ-ישראל ונחל את עבודתנו ואת ההיסטוריה שלנו שם. דרוש אומץ לקום ולעלות ולא לחכות עד שגלגל ההיסטוריה ידחפנו שמה
— אליעזר פינקלשטיין
.
בתקופת פעילותו בורשה זכה אליעזר לשם "הדוד לייזר" (דער פעטער לוזער) ששיקף את היותו מבוגר משאר הפעילים הציונים וכן את האופן בו דאג, כמו אבא, לשאר הפעילים בסניף.
ב-6 בנובמבר1911 חתם ועד המתיישבים של רחובות על הסכם שמירה עם ארגון השומר. ארגון זה מינה את צבי בקר למפקד במקום ושם תחתיו 14 שומרים[4]. אליעזר התרשם מחברי השומר שהגיעו למושבה והחליט להצטרף לארגון. בטקס רב רושם נשבע לארגון, רכש סוסה, קיבל נשק והחל לשמור על כרמי המושבה.
ב-9 באוקטובר1912 נחתם הסכם העסקה מחודש בין ועד רחובות לארגון השומר ובהמשכו החליף מנדל פורטוגלי את צבי בקר כמפקד כח השומרים במושבה ואליעזר המשיך להיות חלק מצוות השומרים. בתקופה זו חלה הרעה ביחסים בין אנשי השומר לאיכרי המושבה ורבו התלונות על התנהלות אגרסיבית של השומרים. אחת התלונות הועלתה על ידי האיכר סמי טולקובסקי כנגד אליעזר בטענה שהכה בשוט את אחד הפועלים הערבים[5].
הסכסוכים הנ"ל הביאו לכך שב-2 באוקטובר1913 הסתיים החוזה של "השומר" עם ועד רחובות והשומרים התפזרו ברחבי הארץ. אליעזר עבר עם עוד מספר שומרים לראשון לציון.
הקמת תל עדשים
על אף עבודתו כשומר לא זנח אליעזר את חלומו להיות עובד אדמה.
...אין להקים עם בלי עובדי-אדמה... השומרים אינם יכולים להיות רק לוחמים... באנו לארץ הזאת לא רק לחיות בה כי אם לעבדה ותפקיד זה מוטל על השומרים המוכנים לתת נפשם על כל שעל אדמה
— אליעזר פינקלשטיין
.
בתשרי תרע"ד 1913 נערכה בכרכור ועידת השומר חמישית בה השתתף גם אליעזר. בוועידה זו החליט הארגון לממש את חלומם של רבים מחברי הארגון לעבור לחקלאות ולהקים מושב שומרים. המקום הנבחר היה תל עדשים בו כבר שההו מספר שומרים ואליעזר הצטרף לחבריו ועבר למ'ום שם עבד בחקלאות ובשמירה.
ב-17 באפריל1916 שמע אליעזר קולות עדר הפולש לחלקת החיטה, מיהר לשם כדי לגרשו ונורה בירכו על ידי הרועה. אליעזר, שהיה בגפו, זחל בחזרה לחווה והובל, בעגלה, לבית החולים שערי צדק בירושלים[6] בליווי של שמעון קושניר. קבלתו לבית החולים התעכבה מאחר שהגיע ביום שישי ועד שנתקבל ביום ראשון, נבדק וטופל כבר נתפשט בגופו זיהום ועל אף הטיפול הרפואי המסור נפטר אליעזר ב-20 באפריל והובא לקבורה בבית הקברות בהר הזיתים.
אליעזר לא נישא ולא היו לו ילדים.
ועדת "ציון"
עם השנים נשכחו מקומות הקבורה של חלק מהחלוצים שנפטרו בשנים המוקדמות של המאה ה-20 וקבריהם של האחרים נשחקו והתפוררו. ב-1942 הקימה ההסתדרות הכללית ועדה מיוחדת, בשם "צִיוּן" (בראשות דוד בדר), לאיתור ושיקום קבריהם של אותם חלוצים שנפטרו בדמי ימיהם. בין השאר פעלה ועדה זו בהר הזיתים והצליחה לאתר את קברו של אליעזר ולשקם אותו[7][8][9][10].