אנדרסון נולד ב-5 בנובמבר1757 בווייט מארש, ליד פילדלפיה, פרובינציית פנסילבניה, והיה בנם של ויליאם אנדרסון ואליזבת אינסלי. הוא רכש השכלה טובה ולמד משפטים. בשנת 1776, בעקבות פרוץ מלחמת העצמאות האמריקאית, הוא התגייס לרגימנט ה-3 של ניו ג'רזי של הצבא הקונטיננטלי, ועלה לדרגת קפטן ושַלָם הרגימנט תוך פחות משנתיים. אנדרסון נלחם בקרב מונמות', ושהה עם הצבא במהלך החורף הקשה שלו ב-1777 בעמק פורג'. בשנת 1781, הוא עבר לרגימנט הראשון של ניו ג'רזי, ולחם עם יחידה זו בקרב יורקטאון.
בתום המלחמה שוחרר אנדרסון בדרגת מייג'ור. לאחר שלמד משפטים לפני המלחמה, הוא התקבל ללשכת עורכי הדין בדלאוור, ועסק בעריכת דין בדלאוור מ-1784 עד 1791. בנוסף, היו בבעלותו עבדים.[2]
בשנת 1791, הנשיאג'ורג' וושינגטון מינה את אנדרסון לשופט הטריטוריה הדרום-מערבית שהוקמה לאחרונה. הוא כיהן לצד דייוויד קמפבל וג'ון מקניירי. שום תיעוד של אף אחד מהמשפטים בראשותו של אנדרסון לא שרד, למעט משפט רצח משנת 1794. משפט זה, שנערך בבלוקאוס טליקו, עסק באינדיאני שהואשם בהריגת המתיישב ג'וזף איש.
בשנת 1792, אנדרסון התחתן עם אונלי פיישנס אאוטלואו, בתו של חלוץ טנסי, אלכסנדר אאוטלואו. הנדוניה של אשתו כללה קרקע לאורך נהר נוליצ'קי במה שהוא כיום מחוז המבלן (אך היה אז חלק מג'פרסון), שם בנו בני הזוג אנדרסון את ביתם, Soldier's Rest.
בשנת 1796, אנדרסון וחמיו ייצגו את מחוז ג'פרסון בוועידה החוקתית של טנסי בנוקסוויל. ההחלטות שהציגו אנדרסון ואאוטלואו כללו הצעה לנתק את הקשרים עם ארצות הברית אם העתירה של טנסי למדינה תידחה, הצעה ליישם את הצבעת viva voce במקום הצבעה, והצעה להקמת בית מחוקקים חד-ביתי, כולן נדחו. אנדרסון נשבע בבית המחוקקים הראשון של המדינה החדשה מאוחר יותר באותה שנה.
הסנאט של ארצות הברית
בשנת 1797, אנדרסון נבחר על ידי האספה הכללית של טנסי למלא את התפקיד שהתפנה בסנאט בעקבות הדחתו של ויליאם בלאונט. תקופת כהונה זו הייתה אמורה להסתיים ב-3 במרץ1799; עם זאת, ב-12 בדצמבר1798, האספה הכללית של טנסי בחרה באנדרסון למושב הסנאט השני (קבוצה 1) של המדינה, שהתפנה על ידי אנדרו ג'קסון, והוחזק זמנית על ידי דניאל סמית'. אנדרסון נבחר מחדש למושב זה ב-1803, ושוב ב-1809. בבחירות האחרונות, הוא ניצח את המושל הפורש ג'ון סווייר בהצבעה של 23 מול 16.
בנו של אנדרסון, אלכסנדר אנדרסון, שימש כסנאטור מטנסי מ-1840 עד 1841, ועזר בארגון ממשלת מדינת קליפורניה בתחילת שנות ה-50 של המאה ה-19. בן נוסף, ויליאם, כיהן בבית המחוקקים של המדינה, ואחיין, ג'יימס וו. דדריק, כיהן כשופט בבית המשפט העליון של טנסי. מחוז אנדרסון, טנסי, נקרא על שמו של ג'וזף אנדרסון, וכן העיר אנדרסונוויל נקראה על שמו.