Rudy a fait toute sa préformation à l'Olympique Saint-Quentinois, et fut remarqué très jeune pour ses qualités physiques et techniques. Parti à l'AS Cannes à l'âge de 14 ans, cet attaquant de 1,81 m pour 75 kg a ensuite signé à Strasbourg, où on a pu par exemple le voir marquer un but lors de la saison 2005-2006 contre l'Olympique de Marseille, et participer à la belle campagne du RCS en Coupe de l'UEFA.
Lors de la saison 2006-2007, il a été prêté six mois au FC Gueugnon (Ligue 2), puis à Clermont, qui évolue en National.
En 2007, il est de nouveau prêté pour un an au Clermont Foot, mais juste avant la fin du mercato hivernal, il est encore prêté jusque la fin de saison à un club de première division espagnole, le Racing Ferrol. Puis lors du mercato estival 2008, Rudy Carlier est pressenti pour un nouveau prêt, et n'entre pas dans les plans de Jean-Marc Furlan, l'entraîneur du RC Strasbourg. Mais à quelques jours du début du championnat et de la première journée de Ligue 2 face à Montpellier, Jean-Marc Furlan annonce à la surprise générale qu'il avait été convaincu par l'état d'esprit de ce jeune joueur et qu'il le titulariserait même lors de la réception de Montpellier. Et lors de la troisième journée de championnat lors de la réception du SC Bastia, Carlier, qui n'était pas titulaire, entre en jeu à la 88e minute alors que son équipe se dirigeait vers son premier match nul de la saison, puisque le score était toujours de 0-0. Mais dans les arrêts de jeu, sur son premier ballon, Rudy Carlier marque le but de la victoire et enflamme la Meinau, puisqu'il s'agira de la troisième victoire en trois matchs pour le RC Strasbourg depuis le début de la saison. Puis Carlier se contente de brèves entrées en jeu jusqu'à la 15e journée et le derby sur la pelouse du FC Metz, où il sera à nouveau titulaire, profitant des performances médiocres de Kandia Traoré. Et malgré la défaite de son équipe 3 buts à 2, Rudy Carlier y a marqué des points en s'offrant un doublé.