PaK 38 Wehrmacht tarafından ilk olarak Nisan 1940 kullanıldı. 1941 yılında Wehrmacht SSCB işgali sırasında yeni Sovyet yapımı orta sınıf T-34 ve ağır sınıf KV tanklarının ortaya çıkması ile PaK 38 tungsten başlık taşıyan, Panzergranate 40 mermisini kullanmaya başladı. Mermi tanka isabet ettiğinde tungten zırhı daha kolay geçebiliyordu ve bu tanklara karşı çok daha etkiliydi. İleriki yıllarda Alman mühendisler daha gelişmiş toplar üretti ve PaK 38 yerini bu tanksavar toplarına bıraktı.