ב-1911 נענה לקריאתו של זייד ועלה לגליל על מנת לכבוש את העבודה והשמירה שם. היה מבין ראשוני ארגון "השומר" ונבחר לוועד הארגון וכן לתפקידי גזבר ומזכיר הארגון. כן היה פעיל בהסתדרות פועלי הגליל. בתקופת מלחמת העולם הראשונה ארגן את ההגנה בגליל, לאחר שרבים מחבריו נאסרו. עם הקמת ארגון ההגנה הצטרף לשורותיו והיה למפקד גוש טבריה, במסגרת זו פיקד על פינוי הילדים מכפר גלעדי ותל חי זמן קצר לפני קרב תל חי. בתקופה זו התקרב אל ערביי האזור, למד את שפתם, תרבותם ומנהגיהם ועסק בגישור בין יהודים וערבים, כתוצאה מהיכרות קרובה, ובעזרתו של ראזק עבד אל-קאדר איתר קרקעות בתחומי החורןהגליל המזרחי והגליל העליון וביצע רכישות קרקע עבור חברת פיק"א והקרן הקיימת לישראל.[1] נחמני תיווך בעסקאות לרכישת כ-90 אלף דונם קרקעות לאום.
ב-30 בנובמבר 1947, לאחר החלטת החלוקה של עצרת האו"ם, כתב נחמני ביומנו: "שמחה מעורבת בתוגה... תוגה שהפסדנו את חצי הארץ, את יהודה ושומרון... 80 אחוזים של הקרקע שייך עדיין לערבים ונוסף לזה [יהיו במדינה היהודית] 400 אלף ערבים".[4] על פי יומניו והתכתבויותיו, נראה כי בתקופה זו זנח את הרעיון בדבר מדיניות טרנספר כוללת. במקום זאת, סבר כי להמשיך את "גאולת הקרקעות" ביתר שאת.[5]
לפי היומנים הוא הזדעזע מפינויים של ערביי טבריה, עירו, על ידי הבריטים בזמן מלחמת העצמאות, ושאף לראותם חוזרים למקומם. ב-2 במאי הוא מונה לחבר בוועדה העירונית החדשה בטבריה שתפקידה היה "שמירת רכוש הערבים הנעדרים".[6] אולם בסוף יולי כבר התנגד לשיבת הפליטים: "בעיתונים התחילו לדבר על החזרת הפליטים שהתרכזו בנצרת לטבריה וכו'. דברים שלא מתקבלים על הדעת, שבזמן מלחמה יחזרו ערבים לטבריה או למקומות אחרים ולאפשר על ידי זה לערער את הביטחון". באוגוסט היה מעורב בהבאת עולים יהודים לטבריה וביישובם בבתים נטושים של ערבים.[7] לאחר מכן נטל חלק חשוב בתכנון והריסת בתי הערבים בעיר העתיקה של טבריה, לטובת סלילת כבישים והקמת גנים ציבוריים.[8]
בעת המלחמה נחשף נחמני למעשי שוד, ביזה וגירוש ערבים פלסטינים מבתיהם ומכפריהם על ידי לוחמי פלמ"ח וצה"ל ותיעד את המעשים ביומניו.
ב-6 בנובמבר 1948, התייחס ביומנו למעשי טבח שנעשו בזמן מבצע חירם ותהה: "מנין לקחו מידת אכזריות כמו הנאצים? למדו מהם".[9] בשל התבטאויות אלה, שהתגלו רק בשנת 2000, כינה אותו ההיסטוריוןבני מוריס "מצפונה של התנועה הציונית".
יוסף נחמני – איש הגליל / ערך והביא לבית הדפוס: יוסף ויץ, רמת גן: משפ' נחמני ליד מסדה, תשכ"ט-1969 (אנתולוגיה של מכתבים מאת נחמני, מובאות מיומניו ומאמרים עליו ומפרי עטו).[10]
יוסף נחמני / ירושלים: אגף ההסברה, הקרן הקיימת לישראל. תשכ"ו 1966.
בני מוריס, תיקון טעות: יהודים וערבים בארץ ישראל: 1956-1936, תל אביב: עם עובד, תש"ס 2000. יוסף נחמני והשאלה הערבית ב־1948, עמ' 58–103.
^מוריס, עמ' 61. מוריס מצטט ישירות מהיומן. נוסח שונה מופיע בספר יוסף נחמני איש הגליל בעריכת יוסף ויץ, עמ' 220: "האם יסכימו הערבים שאנחנו נתחזק ונתרבה בארץ? המוצא הוא טראנספר ופעם לתמיד תפתר הבעיה".
