בשנת ה'תר"ל מונה לשמש כאב בית הדין של איסטנבול וכרבו של רובע חאסקוי.
עם עליית החכם באשי הרב יקיר גירון לארץ ישראל בשנת 1872, מונה הרב הלוי על ידי הממשל לממלא מקומו בתפקיד החכם באשי, ובכל שנות כהונתו התגורר באיסטנבול. הרב הלוי, לצד הרב גירון היו היחידים שמונו כממלאי מקום קודמיהם בידי הממשל, ולא באמצעות בחירות[2].
לקראת חג הפסח של שנת 1897 קיבל מידי הסולטן עבדול חמיד השני 30,000 גרוש לצורך חלוקה לקהילה היהודית באיסטנבול[3].
תקופת כהונתו נודעה בקו השמרני שהוביל יחד עם הממשל העות'מאני, ובקשריו ההדוקים עם זה האחרון. כך היה לנושא משרת החכם באשי היחיד שקיבל מהממשל תוספת תשלום על סך 50 לירות לחודש כ"פרס". מהממשל העות'מאני קיבל במהלך כהונתו גם מספר אותות כבוד מדרגה ראשונה, כדוגמת מסדר אוסמאני ומסדר המג'ידיה.
הרב הלוי עמד בקשר עם רוב רבני האימפריה העות'מאנית, שבפועל כיהנו תחתיו, ורבים מהמינויים של הרבנים הראשיים ברחבי האימפריה עברו תחת ידו והחלטתו. בשנת 1889, פעל להעביר את הרב רפאל מאיר פאניז'יל מתפקיד ממלא מקום לתפקיד החכם באשי הרשמי של ארץ ישראל[4]. בשנת 1907, כשפרצה בירושלים מחלוקת על מינוי מחליפו של הראשון לציון הרב יעקב שאול אלישר שנפטר, נאלץ הרב הלוי להתערב ולהכריע כי הרב אליהו משה פאניז'יל ימונה לתפקיד, ולא הרב יעקב מאיר. עם זאת אישר את מינויו של האחרון לרבה של סלוניקי.
פעילותו לפגישת הרצל עם סולטן האימפריה העות'מאנית
לפי פרופסור אברהם גלנטי, הרב הלוי היה זה ששכנע את הסולטן עבדול חמיד השני להיפגש עם בנימין זאב הרצל בשנת 1901 באיסטנבול. לפי המסופר, לאחר הפגישה, במשך שלושה ימים הזמין הסולטן את הרב הלוי, אולם כשזה האחרון היה מגיע לחדר ההמתנה, היה נאלץ להישאר שם במשך יום שלם ולחזור לבסוף לביתו מבלי להיפגש עם הסולטן. לאחר שלושה ימים, הכניסו הסולטן לחדרו, והביע בפניו את מורת רוחו על התערבותו לטובת הפגישה עם הרצל. הרב הלוי טען בפני הסולטן כי בעת פעילותו לקיום המפגש, לא ידע כי הרצל ידבר על מטרותיו הציוניות, אלא ישאל את חוות דעתו של הסולטן אודות שאלת היהודים באופן כללי. הסולטן התרצה מההסבר של הרב, אולם האחרון שב לביתו וחלה בעקבות כך.
אברהם אלמליח שלל את סיפור התערבותו של הרב הלוי בפגישה של הרצל והסולטן, בשל העובדה כי הרב הלוי כינה את הרצל במכתב לרב משה נחום ירושלימסקי בתואר "מהרסייך ומחריבייך ממך יצאו", וטען כי הרצל מפיץ "מכתבי עמל"[5].