Ursin undervisades först i hemmet, reste därefter till Kristiania och 1855 till Bryssel, där han blev lärjunge till Hubert Léonard. Han blev efter hemkomsten konsertmästare i Christiania Theatersorkester och verkade som sådan till 1876. Han framträdde även som solist och i kammarmusikkonserter, utvecklade betydande lärarverksamhet och utgav en violinskola.