Möglicherweise war Graswang schon zu Zeiten der Germanen besiedelt. Darauf deutet der Ortsname hin. Orte auf -wang (= offene Fläche) sind sehr alt und gehen auf Gründungen in germanischer Zeit zurück. Im Salbuch Herzog Ludwigs des Strengen um 1270 sind „fünf unbenannte Schwaigen im Amte Ammergau“ aufgeführt, womit vermutlich die Höfe im Graswang und Linder gemeint sind.
Ortsbild
Der abseits der Durchgangsstraße Ettal – Oberammergau gelegene Ort ist bäuerlich geprägt. Die ruhige Lage und alte Bauernhöfe in Holz beziehungsweise mit kunstvollen Giebeln geschmückte Häuser kennzeichnen das Dorf. Die Bauernhöhe sind meist Einfirsthöfe mit alpenländischem Flachsatteldach. Im Ortskern lagern sich einige dieser Bauernhäuser, die aus dem 17. und 18. Jahrhundert stammen, um einen angerartigen Platz.
Bei der Volkszählung von 1875 hatte Graswang 71 Einwohner.[2] 1961 betrug die Einwohnerzahl 144,[3] 1987 waren es 172[4]. Für 2019 wird die Einwohnerzahl mit etwa 250 angegeben.[5]