Dawniej dolinkę nazywano Nad Zmarzłym, obecną nazwę nadał jej taternik Janusz Chmielowski ok. 1908 r.[2] Nazwa pochodzi od kozic[3]. Z rzadkich roślin w Dolince Koziej występują mietlica alpejska i wiechlina tatrzańska – rośliny w Polsce występujące tylko w Tatrach i to na nielicznych stanowiskach[4].
Położone na wysokości 1836 m dno dolinki pokryte jest skalnymi głazami porośniętymi dużą ilością mszaków, wątrobowców oraz płożącą się wierzbą zielną (Salix herbacea). Wiosną bardzo długo zalegają tutaj wyleżyska pośniegowe[2].
Szlaki turystyczne
W dolince znajdują się trzy szlaki dojściowe do Orlej Perci: