Walker lahir di Cartersville, Georgia,[4] anak bungsu dari dua laki-laki yang lahir dari Jeannine (née Walker), seorang guru musik, dan Greg Davis, yang memiliki toko penyewaan film dan bekerja di bidang jasa keuangan.[5][6][7] Ia mengambil nama gadis ibunya sebagai nama panggungnya karena ada Benjamin Davis yang sudah terdaftar di Screen Actors Guild.[8] Ia bersekolah di SMA Cartersville di Cartersville, Interlochen Arts Academy dekat Traverse City, dan Juilliard School di New York City.[9] Ia lulus dari Juilliard Actor Training Program pada tahun 2004.[10]
Kehidupan pribadi
Walker bertunangan dengan aktris Mamie Gummer pada tahun 2009,[1] dan mereka menikah pada tahun 2011.[11] Mereka tinggal di sebuah apartemen di Park Slope, Brooklyn. Pada bulan Maret 2013, diumumkan bahwa mereka telah berpisah secara damai dan berencana untuk bercerai.[12]
Walker mulai berkencan dengan Kaya Scodelario, pada bulan April 2014. Mereka bertunangan pada tanggal 28 Desember 2014.[13] Ia dan Scodelario menikah pada akhir tahun 2015 dan keduanya mengadopsi nama keluarga "Scodelario-Davis".[14] Pasangan itu memiliki seorang putra pada bulan November 2016.[15] Pada bulan September 2021, pasangan itu mengumumkan bahwa mereka sedang menantikan anak kedua mereka, seorang perempuan, yang lahir pada bulan Desember 2021.[16] Pada bulan Februari 2024, pasangan itu mengumumkan perpisahan mereka.[17]