Franz nació en Penzig un suburbio de Viena, en una familia de oficiales austriacos. Su tatarabuelo Franz Anton Conrad (1738-1827) había recibido el título nobiliario de Von Hötzendorf en 1815, refiriéndose al apellido de su primera esposa quien descendía de la región bávara del Alto Palatinado. Su padre, Franz Xavier Conrad (1793-1878) era un coronel de húsares retirado, originario del sur de Moravia quien había luchado en la batalla de Leipzig y tomó parte en la represión del levantamiento de Viena, durante las Revoluciones de 1848 donde fue gravemente herido.
Se casó con Wilhelmine le Beau (1860-1905) en 1886, con quien tuvo cuatro hijos. Posteriormente se casaría con Virginia von Reininghaus, contra los deseos de sus hijos.
Carrera militar
Franz, se unió al cuerpo de cadetes de la guarnición de Hainburg y fue educado en la Academia militar Teresiana en Wiener Neustadt, donde demostró un gran interés por las ciencias naturales, especialmente en la Teoría de la Evolución de Charles Darwin. En 1871, a la edad de diecinueve años, recibió su nombramiento como teniente en un batallón de jägers. Después de graduarse de la Academia militar Kriegsschule en 1876, fue transferido al Estado Mayor del Ejército austrohúngaro.
Entre 1878-1879, después del Congreso de Berlín, sus tareas lo llevaron al Valiato de Bosnia que hasta ese momento formaba parte del Imperio otomano, y que fue puesto bajo administración militar austrohúngara. También participó, en la supresión de las revueltas que ocurrieron en el Reino de Dalmacia en 1882, parte del Imperio, con el puesto de capitán. En 1886, fue nombrado jefe de Estado Mayor de la 11.ª División de Infantería de Lemberg, donde demostró gran habilidad en la reforma de los ejercicios militares. En el otoño de 1888 fue elevado al cargo de mayor, y comenzó a trabajar como profesor en la Academia militar Kriegsschule.
Retorno como jefe del estado mayor
En 1892, pidió ser trasladado, siéndole asignado el mando del Regimiento de infantería 93.º de Olmütz. Desde 1895, mandó el 1.er Regimiento de Infantería de Krakau, y desde 1899 la 55.ª Brigada de Infantería de Trieste, ya como a general de división. Después de reprimir un levantamiento italiano en 1902 en la ciudad, se le ascendió a mariscal de campo y tomó el mando de la 8.ª División de Infantería de Innsbruck en el Tirol en 1903.
En el momento de su nombramiento como jefe del Estado Mayor del Ejército austrohúngaro, por recomendación del heredero al trono en noviembre de 1906, Franz se había labrado una excelente reputación tanto en lo militar como en lo cultural. Igual que otros oficiales austrohúngaros de su época, tenía poca experiencia en lo que a situaciones de combate se refiere, pero había leído y escrito una gran cantidad de obras militares. Además, se volcó de manera exhaustiva en un proceso de modernización de las fuerzas armadas.
El emperador Francisco José I de Austria invistió a Franz con el título nobiliario de freiherr en 1910. Mantuvo diferencias con el ministro de Exteriores, el conde Alois Lexa von Aehrenthal, quien se oponía a la idea de Franz de una guerra preventiva contra Italia. Durante la Crisis bosnia, fue destituido con el pretexto de mantener una aventura con quien sería su futura esposa, Virginia Reininghaus. A pesar de eso, después de que Aehrenthal renunciara en 1911 y muriera al año siguiente, el archiduque Francisco Fernando, logró que fuera readmitido como jefe del Estado Mayor durante la guerra de los Balcanes en diciembre de 1912.
Durante la crisis de julio con el resultado del asesinato del archiduque Francisco Fernando, Conrad fue el primer defensor de la guerra contra el Reino de Serbia.