Man vel lite om hans bakgrunn; muligens var han konvertitt fra protestantismen. I 1640 eller 1641 ble han medlem av jesuittordenen. I 1656 brøt han opp på sin første reise til Kina, der han i to år virket ved det keiserlige hoff i Beijing, sammen med Johann Adam Schall von Bell S.J. ved Det keiserlige astronomiske byrå.
I 1661 ble han beordret tilbake til Roma, men på grunn av en nederlandsk skipsblokade var den vanlige sjøveien via Macao umulig. Grueber og hans belgiske ledsager Albert d'Orville bestemte seg da for å ta landveien om Tibet og India. De besøkte Lhasa og kunne gi Vesten de første brukbare informasjoner om byen, opplysninger som skulle stå seg i to hundre år som omtrent de eneste man hadde. I Agra døde D'Orville. Han fortsatte mot Europa, nå ledsaget av svaberen Heinrich Roth. De ankom Roma den 20. februar1664.