רעיון הקמת הפארק נהגה בתקופתו של ראש העיר הראשון, מאיר דיזנגוף, ב-1929. רק ב-1950 החל הרעיון לקרום עור וגידים, וטקס נטיעת העצים בפארק נערך ב-5 ביולי1951, בקרבת חיבור נחל איילון לירקון. הטיפול בנטיעות הועבר לידי חברה פרטית שנטעה את השטח אזורים אזורים באופן נעדר שיטתיות, כך שבתחילת שנות ה-60 נחשב הפארק לנחות לעומת הפארק הלאומי. ב-1962 מונתה ועדה להרחבת פארק הירקון, כשבין חבריה האדריכלאבא אלחנני, משה עקרון ואברהם קרוון. הוועדה החליטה להרחיב את הפארק ולכלול בו את אזור מוזיאון הארץ ותל קסילה, ולהקים בפארק אגם, היכל ספורט,[2] שורת מתקני שעשועים, ובהם רכבת קטנה ותיאטרון לילדים, וכן מתקנים למחנאות. התוכנית שהתקבלה לבסוף הייתה זו של אבא אלחנני ואדריכל הנוף יוסף סגל.[3] מלאכת הקמת הפארק הוטלה על משה עקרון, שהפך בהמשך למנכ״ל הראשון של הפארק.
בשנות השבעים הורחב הפארק ותוכנן מחדש על ידי אדריכלי הנוף צבי דקל, גדעון שריג ויוסף סגל, שזכו על תכנונו בפרס רוקח. ב-1977 הוקם בפארק אגם מלאכותי, ב-1978 הוקמו הספורטק וגן הוורדים, וב-1982 נקרא הפארק על שמו של רבינוביץ'.[3] החל מאמצע שנות ה-80 אדריכל הפארק הוא גדעון שריג.
בנובמבר2011 נחנך קטע חדש בטיילת לאורך הגדה הצפונית של הירקון, לאחר שהעירייה הצליחה לאחר משפט ממושך, לפנות שכונת צריפים שכונתה "כפר הדייגים". הקטע החדש מאפשר הליכה רצופה לכל אורך הגדה הצפונית של הירקון.[4]
באזור שכנו טחנות קמח כבר בתקופה העות'מאנית. טחנות נוספות הוקמו במאה ה-19, והמקום שימש כמרכז חקלאי, שאליו הגיעו חקלאי האזור כדי לטחון את תבואתם,[5] ושהו בו משך שעות ואף ימים. מסיבה זו קמו במקום בית קפה[5] ומעגן סירות. בשנות ה-20 של המאה ה-20 נקנו הטחנות על ידי יהודי מתל אביב, אך ב-1936 הפסיקו לפעול לאחר שלא עמדו בתחרות עם טחנות חדישות יותר. האתר נחשף ושוחזר חלקית בשנים 2000–2001 וכיום הוא חלק מפארק הירקון.
במקום שכנה טחנת קמח כבר בתקופה הרומית, ופעלו בה לפחות עשרים זוגות אבני רחיים. עם זאת, ובדומה לשארע בשבע טחנות, שמו של האתר התקבע כאשר פעלו בו רק עשרה זוגות. במקום ניצב גשר אבן מעל הירקון, גִ'סְר אֶל-הַדָּאר (גשר שאון המים), הנזכר בזכרונותיה של יהודית, אשת משה מונטיפיורי, שעברה במקום במסעותיה עם בעלה ב-1839.[7] פעילות הטחינה בעשר טחנות התחדשה רק במאה ה-19 כאשר שתי משפחות ערביות עשירות - משפחת בידס ומשפחת עמוריה - הקימו את מפעל הטחינה מחדש. הטחנה שנודעה בשם 'טאחונת אל הדר', הייתה הגדולה מבין טחנות הירקון ומהגדולות בארץ ישראל כולה.
גן הבנים – גן המנציח את זכרם של בני תל אביב-יפו אשר נפלו במערכות ישראל. בגן אחת-עשרה חורשות שכל אחת מהן מייצגת תקופה אחרת במערכות ישראל, ובכל חורשה עמודי גרניט הנושאים את שמות הנופלים.
גן חללי הטרור[8]– נמצא בסמוך לגן הבנים, ומנציח את 750 בני העיר שנרצחו בפעולות טרור מאז שנת 1860.[8]
גן הסלעים[9] – גן בשטח של 40 דונם ובו סלעים מכל חלקי ארץ ישראל ומאות מיני צמחים שהובאו אליו מרחבי ישראל.
גן הקקטוסים[10] – גן בשטח של 30 דונם ובו כ-55,000 קקטוסים מרחבי העולם מ-3,700 מינים וסוגים.
הגן הגזום[11] – הגן משתרע על שטח של 15 דונם והוא משלב "גינון פורמלי, גינון קלאסי וגינון ים תיכוני".[11] בגן משולבים פריטים ארכאולוגיים ופסיפסים, ערוגות גאומטריות, מזרקות וצמחי מים.
פינת חי - בבלי[18] - סמוך לרח' קוסובסקי 20, מסלעה בה היו איילים נקודים, יעלים, ועופות שונים, וספריית פארק.[19] פינת החי נסגרה לצמיתות[20] במאי 2023, בעקבות חשש לפגיעה בחיות מעצם כליאתן בתנאים ירודים[21] ובשל הרעש הנובע מהופעות בפארק.[22] על-פי הודעה של עיריית תל אביב, החיות הועברו לגני חיות שונים.[23] האבנים שהיו בתוך פינת החי סודרו מחדש והושארו לקהל המבקרים לצורך ישיבה.
ספורטק תל אביב צפון — מרכז ספורט רב-ענפי המציע מגוון ענפי ספורט כגון טיפוס על סלעים, כדורגל וכדורגל אוסטרלי. המתקנים כוללים מגרש רוגבי מלא, המשמש כמגרש הבית של אס"א תל אביב ואייבקס תל אביב.[37]
משנת 1998 עד 2008 נערך מדי שנה בתחילת הקיץ יריד האוכל "טעם העיר", שנמשך כארבעה ימים. משנת 2005 הגיעו אליו מעל חצי מיליון איש. בשנת 2009 הוא הועבר לחיפה, ובשנת 2010 לא נערך האירוע כלל, אך ב-2011 נערך שוב בפארק הירקון.
מאז שנת 2003 נערך מדי שנתיים בסתיו פסטיבל פלוגטאג של חברת המשקאות רדבול (Redbull) שבו קבוצות אנשים בונות כלי טיס היתולי כלשהו, ומתחרות איזה כלי טיס עף את המרחק הרב ביותר.
המופע "מרוסיה באהבה" נערך בפארק בשנים האחרונות ולוקחים בו חלק אלפי אנשים.
ב-3 במאי2017, הופיע ג'סטין ביבר בפני קהל של 53,813 אנשים כחלק מסיבוב ההופעות העולמי שלו Purpose Tour. מחירון הכרטיסים של הופעה זו, הייתה הגבוהה ביותר שנעשתה בישראל עד כה.
^ביום 23 ביוני 1839 חצו על גשר זה את הירקון השר משה מונטיפיורי ואשתו, יהודית, שרשמה ביומנה: "השכמנו היום [ביפו] לפני השעה השישית... ובמשך שעה באנו אל גשר אבנים אשר כמעט נחרב. וכאשר עברנו את נהר פַּטְרַס באנו בשעה התשיעית אל קבר אללה אבן עלים". אַבּוּ בֻּטְרֻס, שיבוש השם אנטיפטריס - הירקון בפי הערבים. עלי אִבְּן עוּלַם, הוא סידנא עלי בחוף נוף ים של היום.