דייוויד ג'ון הארלי נולד בוולונגונג שבניו סאות' ויילס לנורמה ולג'יימס הארלי. אביו היה פועל מתכת באזור אילוורה ואמו עבדה בחנות מכולת. הארלי גדל בפרבר פורט קמבלה שבוולוגונג והתחנך בבית הספר התיכון המקומי אותו סיים ב-1971. לאחר מכן הוא סיים את לימודיו בקולג' הצבאי המלכותי בדנטרון, שם קיבל תואר ראשון בלימודים צבאיים.
בינואר 1972 התקבל הארלי לקולג' הצבאי המלכותי בדנטרון. עם סיום הכשרתו בדצמבר 1975 הוא מונה כלוטננט בחיל הרגלים האוסטרלי המלכותי. הצבתו הראשונה הייתה לגדוד הראשון של הרגימנט האוסטרלי המלכותי. הוא קודם לדרגת קפטן ומונה לשליש של הרגימנט של אוניברסיטת סידני. לאחר מכן הוא שימש כשליש של הרגימנט האוסטרלי המלכותי. הוא הוצב בחילופי קצינים עם הצבא הבריטי בגדוד הראשון של המשמר האירי ולאחר מכן שירת בגדוד החמישי/שביעי של הרגימנט האוסטרלי המלכותי.
ב-1990 קודם הארלי לדרגת לוטננט קולונל ומונה כיועץ כוח אדם בכיר לחיילות השריון, תותחנים, הנדסה ורגלים במשרדו של שר ההגנה האוסטרלי. בראשית 1991 הוא מונה כקצין מטה במפקדת הדיוויזיה השנייה ובנובמבר אותה שנה הוא קיבל את הפיקוד על הרגימנט האוסטרלי המלכותי, שעליו הוא פיקד במהלך "מבצע נחמה" בסומליה בשנת 1993. על שירותו במבצע זה הוענק לו צלב השירות המצוין. ב-1994 מונה הארלי לתפקיד קצין המבצעים של מפקדת הדיוויזיה הראשונה.
ביוני 1994 קודם הארלי לדרגת קולונל ומונה לראש מטה הדיוויזיה הראשונה. בין השנים 1996 – 1997 הוא למד בקולג' הצבאי של צבא ארצות הברית (United States Army War College) ובשובו מלימודיו בדצמבר 1997 הוא הוצב במטה כוחות ההגנה כאחראי על ההערכות והגיוס. בינואר 1999 הועלה הארלי לדרגת בריגדיר גנרל וקיבל את הפיקוד על הבריגדה הראשונה בדרווין שבטריטוריה הצפונית. בתקופה זו הוא פיקח על מעבר הבריגדה לרמה גבוהה יותר של מוכנות מבצעית ועל הסיוע שהגישה לפעילות הצבאית האוסטרלית במזרח טימור. בינואר 2001 הוא המשיך כמנהל הכללי של גוף פיתוח צבא היבשה.
באותה שנה קודם הארלי לדרגת מייג'ור גנרל וביולי מונה כראש מערכת הפיתוח של כוחות היבשה של צבא אוסטרליה וכמפקד כוחות יבשה החל מדצמבר 2002. בדצמבר 2003 הוא קודם לדרגת לוטננט גנרל ומונה כמנהל הראשון של "קבוצת פיתוח היכולות הראשית" (Chief of Capability Development Group) של משרד ההגנה האוסטרלי. בספטמבר 2007 הוא מונה כמפקד פיקוד המבצעים המשולבים של כוחות ההגנה וביולי 2008 כסגן ראש מטה כוחות ההגנה.
ב-4 ביולי 2011 קודם הארלי לדרגת גנרל והחליף את מרשל אוויר ראשי אנגוס יוסטון כראש מטה כוחות ההגנה של אוסטרליה. בינואר 2012 מלאו 40 שנה לתחילת הקריירה הצבאית של הארלי ובאותו חודש, בהיותו בפריז, הוענקה לו דרגת קצין בלגיון הכבוד הצרפתי. בפברואר אותה שנה הוענקה לו מדליית השירות של כוחות ההגנה כאות הערכה ל-40 שנות שירותו. ב-30 ביוני2014 פרש הארלי מהשירות והוחלף במרשל אוויר ראשי מארק בינסקין.
ב-11 בספטמבר2019, כאשר נכח בקבלת הפנים לרגל יום העצמאות של אינדונזיה בקנברה, החל הארלי את נאומו אינדונזית.[4] לאחר מכן הוא חזר על נאומו באנגלית. הייתה זו הפעם הראשונה שבה המושל הכללי של אוסטרליה נשא נאום בשפה האינדונזית במהלך אירוע באוסטרליה.