Ketika mencapai usia 50 tahun, Salleh hendak bersara tetapi dipujuk oleh Tun Mohamed Suffian Mohamed Hashim, Ketua Hakim Negara, untuk meneruskan perkhidmatannya. Salleh dilantik sebagai hakimMahkamah Persekutuan sebagai ganti. Walaupun kerja itu membosankannya, beliau masih meneruskan. Ketika Suffian bersara pada tahun 1982 dan digantikan oleh Raja Azlan Shah, Salleh menjadi Ketua Hakim Tanah Melayu. Bagaimanapun, dalam tempoh dua tahun, iaitu pada tahun 1984, Sultan Perak mangkat dan Raja Azlan meletakkan jawatan untuk naik takhta. Oleh itu, Salleh menjadi Ketua Hakim Negara sebagai ganti.[6]
Semasa tempoh perkhidmatan Salleh, Mahkamah Persekutuan menjadi mahkamah yang tertinggi secara rasmi. Sebelum itu, rayuan bantahan boleh dibuat terhadap keputusan mahkamah tempatan kepada Majlis PrivyBritish, tetapi disebabkan kebimbingan terhadap kesan jajahan, hubungan itu diputuskan secara rasmi. Salleh kemudian menyatakan kekecewaannya terhadap keputusan ini kerana mempercayai bahawa beliau tidak akan dipecat jika hubungan dengan Majlis Privy masih dikekalkan.[6] Pada tahun 1985, Mahkamah Persekutuan dinamakan semula sebagai Mahkamah Agung.
Beliau telah dilantik sebagai Pengerusi Lembaga Pengarah dan Pengerusi Lembaga Penasihat Syariah bagi as-Salihin Trustee Berhad hingga ke akhir hayat.[9]
Tiga hari kemudian, pada 16 Januari 2021, beliau telah disahkan meninggal dunia akibat pneumonia yang disebabkan oleh COVID-19 di hospital tersebut pada jam 3.20 pagi, dan kemudian dikebumikan bersebelahan pusara isteri beliau yang pertama, Toh Puan Azimah Mohd Ali di Tanah Perkuburan Islam Sheikh Ibrahim di Jalan Pusara, Kuala Terengganu pada jam 10.40 pagi.[12][13][14] Sepasukan kakitangan perubatan seramai 10 orang ditugaskan untuk menguruskan jenazah beliau dan semua media dilarang untuk membuat liputan kerana ketika itu masih dalam tempoh Perintah Kawalan Pergerakan.
