Giám mục Lý sinh tháng 3 năm 1965, trong một gia đình Công giáo huyện Đại Hưng, thành phố Bắc Kinh (Trung Quốc). Sau thời kỳ tu tập, Phó tế Lý Sơn được trao chức vụ linh mục ngày 21 tháng 12 năm 1989, khi mới 24 tuổi.
Ngày 21 tháng 9 năm 2007, Tòa Thánh bổ nhiệm linh mục Giuse Lý Sơn làm Tổng giám mục Bắc Kinh khi ông 42 tuổi. Khẩu hiệu Giám mục của ông là: Omnia omnibus - Nên mọi sự cho mọi người[1] Chính quyền Trung Quốc cũng chấp nhận sự phê chuẩn này, xem ông là Giám mục Bắc Kinh kế vị cho giám mục bất hợp thức Micae Phó Thiết Sơn. Ông là một trong số ít các giám mục Công giáo ở Trung Quốc hiệp thông với Rôma. Sự phê chuẩn của Tòa Thánh đối với chức vị giám mục của ông trước khi được tấn phong, không giống như hầu hết các giám mục khác của thời kỳ trước đó, mà Giáo hoàng Bênêđictô XVI đã viết rằng, họ "dưới áp lực của hoàn cảnh đặc biệt, đã đồng ý nhận lễ phong chức giám mục mà không có ủy quyền của Giáo hoàng, nhưng sau đó đã yêu cầu được xem xét hiệp thông với Người Kế vị Thánh Phêrô và với các anh em giám mục khác". Một số nguồn tin đã dẫn lời Hồng y Giuse Trần Nhật Quân chỉ trích Tổng giám mục Giuse Lý Sơn vì có xu hướng hòa giải với Đảng Cộng sản Trung Quốc và Hội Công giáo Yêu nước Trung Quốc.
Sau khi nhận chức, ông tích cực chỉnh đốn Tổng giáo phận Bắc Kinh, xúc tiến cải thiện quan hệ giữa chính quyền Trung Quốc với Tòa Thánh.
Ngày 12 tháng 6 năm 2009, ông được bầu làm Chủ tịch Hội Công giáo Yêu nước thành phố Bắc Kinh, Chủ tịch Ủy ban Giáo vụ Công giáo. Ngày 9 tháng 12 năm 2010, ông được bầu làm Phó chủ tịch Giám mục đoàn Công giáo Trung Quốc.