Né à Lyon[1], agrégé d'histoire en 1947[2], il enseigne tout d'abord au lycée Gautier à Alger cette même année. Il y reste dix ans et commence ses recherches sur l'histoire de la période coloniale en Algérie. Sur place, il fait alors partie de ceux qu'on appelle les libéraux. Ceux-ci plaident pour une réforme en profondeur du système colonial, et croient encore en une possible réconciliation des communautés[3]. Chrétien de gauche, il est tout autant critique vis-à-vis de la politique de la force de Guy Mollet, et, à l'opposé, du Front de libération nationale (FLN), le parti politique indépendantiste algérien. Ageron est alors proche d'Henri-Irénée Marrou, dont il fut l'élève à Lyon sous l'occupation allemande[3], un des premiers intellectuels (écrivant notamment dans la revue Esprit) à dénoncer publiquement l'usage de la torture[4].
Puis il revient en métropole, affecté au lycée Lakanal, à Sceaux, en 1957. Désormais, il consacre une grande partie de ses travaux d'historien à l'histoire du monde colonial, qu'il vient de quitter et à l'Algérie, dont il devient un des premiers grands spécialistes[5],[6]. Attaché de recherches au CNRS de 1959 à 1961, il devient assistant, puis maître-assistant à la Sorbonne où il enseigne jusqu'en 1969. Il y soutient en 1968, sous la direction de Charles-André Julien, sa thèse d'État sur les Algériens musulmans et la France de 1871 à 1919 qui est « remarquée pour son ampleur quasi-encyclopédique »[7].
La guerre d'Algérie et les Algériens, 1954-1962 : actes de la table ronde, Paris, 26-27 mars 1996, Paris, Armand Colin, , 340 p. (ISBN978-2-200-01895-5).