מוצא משפחתו של הורשובסקי היה יהודי, ועקב כך נאלץ להימלט מאירופה בשנות ה-30', אך הוא עצמו המיר דתו בגיל צעיר לקתוליות והיה אדוק בדתו. כפי שכתב מבקר המוזיקה הצרפתי אנדרה טובף, בחוברת המצורפת למהדורה המחודשת של הקלטות הורשובסקי משנות ה-30' לסונאטות של בטהובן לצ'לו ופסנתר, עם פבלו קזאלס: "הורשובסקי היה הן יהודי מאוד והן קתולי מאוד, בשני המקרים כפי שרק פולני יכול להיות."
ידיו של הורשובסקי, שקומתו לא עלתה על מטר וחצי, היו קטנות במיוחד. מסיבה זו, נמנע מנגינת חלק גדול מן הרפרטואר הווירטואוזי (סיבה אפשרית לכך, שמעולם לא הגיע למעמד "כוכב העל" של הורוביץ או רובינשטיין). ביצועיו של הורשובסקי נודעו באיכותם הטבעית, הלא-מאולצת, שהיה בה איזון בין אינטלקט לרגש. תכופות שיבחוהו על איכות הצליל שלו, תכונה משותפת לתלמידיו של לשטיצקי.[4]
בשנת 1981 התחתן הורשובסקי בן ה-89 עם ביצ'ה קוסטה, פסנתרנית איטלקייה. בשנים הבאות ערכה ביצה' את זכרונותיו של הורשובסקי וכרך של התכתובת של אמו על שנות ילדותו של הורשובסקי. כמו כן גילתה והקליטה כמה שירים, שהורשובסקי חיבר לטקסטים צרפתיים בסביבות 1913–1914.
הופעתו האחרונה של הורשובסקי התקיימה בפילדלפיה באוקטובר 1991. הוא מת בעיר זו חודש לפני שמלאו לו 101. את השיעור האחרון שלו נתן שבוע לפני מותו.