דאדלי היה נשוי במשך 10 שנים לאיימי, עד למותה בשנת 1560, שעורר סקנדל ציבורי. במהלך נישואיו קיים קשר קרוב עם המלכה אליזבת, משנת מלכותה הראשונה ועד למותו, אך אליזבת החליטה שלא למסד את יחסיהם.
ב-1588 לאחר שבריאותו התרופפה, נפטר דאדלי באופן פתאומי. היסטוריונים העלו את הסברה כי נפטר ממחלת המלריה או מסרטן הקיבה. המלכה אליזבת הושפעה עמוקות ממותו והסתגרה בארמונה כמה ימים, עד שהלורד בורגלי שבר את דלת הכניסה. אליזבת שמרה את המכתב האחרון שקיבלה מדאדלי, 6 ימים לפני מותו, ליד תיבת התכשיטים שלה, והמכתב נשאר שם עד למותה, 15 שנים מאוחר יותר ב-24 במרץ 1603.