1960 року закінчив Львівський державний університет імені Івана Франка, де й відтоді працював. Протягом 1983—1991 років був завідувачем кафедри обчислювальної математики вишу. Зі своїми учнями започаткував новий оригінальний напрям, який пов'язаний із застосуванням апарату інтегральних рівнянь. Під керівництвом Йосифа Людкевича 18 науковців захистили кандидатські дисертації.
4–6 жовтня 2005 року відбулася 12-та Всеукраїнська наукова конференція «Сучасні проблеми прикладної математики та інформатики», яка була присвячена 70-річчю від дня народження Йосифу Людкевичу і 30-річчю факультету прикладної математики та інформатики Львівського університету.