Перебуваючи в Кенігсберзі, він вивчав фізику разом зі своїм батьком, а пізніше, будучи працюючим математиком, займався майже виключно проблемами, що виникають з фізики. Натхненний роботами Бернхарда Рімана з електродинаміки, Нейман розробив теорію, засновану на кінцевому поширенні електродинамічних впливів, яка зацікавила Вільгельма Едуарда Вебера і Рудольфа Клаузіуса, щоб вступити з ним в листування. Вебер описав професуру Неймана в Лейпцигу як «вищу механіку, яка по суті охоплює математичну фізику», і його лекції так і зробили.[3]Максвелл посилається на електродинамічну теорію, розроблену Вебером і Нейманом у вступі до динамічної теорії електромагнітного поля (1864).
Нейман працював над принципом Діріхле і може вважатися одним з ініціаторів теорії інтегральних рівнянь. Ряд Неймана, який аналогічний геометричному ряду:
але для нескінченних матриць або для обмежених операторів, названий на його честь.
У теорії диференціальних рівнянь з приватними похідними Нейману належать роботи, що відносяться до теорії потенціалу (зокрема, до теорії логарифмічного потенціалу), де їм дано метод (метод Неймана) рішення задачі Діріхле для випадку опуклих контурів (на площині) і опуклих поверхонь (у просторі).
Роботи з математичної фізики, електродинаміки, механіки, гідродинаміки. Розвинув теорію потенціалу. Висунув (1870 р.) ідею інерціальної системи відліку. Передбачив явище термодифузії (1872 р.). У 1875 р. виконав математичний аналіз диференціальних співвідношень термодинаміки (ввів відмінність в позначеннях повних диференціалів і нескінченно малих величин).
Otto Hölder: Carl Neumann. Nachruf vom 14. November 1925 in der öffentlichen Sitzung der Mathematisch-Physischen Klasse der Sächsischen Akademie der Wissenschaften zu Leipzig Band LXXXVII – hier: Sonderdruck mit dem Verzeichnis der 176 Veröffentlichungen Carl Neumanns.
Karl-Heinz Schlote: Zur Entwicklung der mathematischen Physik in Leipzig (I) – Der Beginn der Neumannschen Ära. In: N.T.M. 9, 2001, S. 229–245.
Eberhard Neumann-Redlin von Meding: Carl Gottfried Neumann, Zum 175. Geburtstag des Leipziger Mathematikers. In: Königsberger Bürgerbrief. Nr. 70, 2007, S. 56–57.
Carl Gottfried Neumann: Über die Prinzipien der Galilei-Newtonschen Theorie. Leipziger Antrittsvorlesung. In: Herbert Beckert, Walter Purkert: Leipziger mathematische Antrittsvorlesungen. Auswahl aus den Jahren 1869–1922. Teubner, Leipzig 1987 (mit Biografie).
Hans Salié: Carl Neumann. In: Herbert Beckert, Horst Schumann (Hrsg.) 100 Jahre Mathematisches Seminar der Karl-Marx-Universität Leipzig. Deutscher Verlag der Wissenschaften, Berlin 1981.