Han er kjent for sin mangeårlige innsats for idretten, og var blant annet en av forkjemperne for Slåtthaug kunstisbane og lysløypen fra Munkebotn til Eidsvåg.[5]
I 1998 vedtok bystyrepolitikerne i Bergen at en friidrettshall i Bergen skulle kalles opp etter Olsen. Den fikk navnet Waltherhallen, og ble åpnet i 2002.
Priser og heder
Han ble i 2002 tildelt Kongens fortjenstmedalje i sølv. Han fikk også Bergen idrettsråds hederspris.