Przyszedł na świat 12 lipca 1894 r. w Kielcach, pod zaborem rosyjskim, w rodzinie o tradycjach powstańczych i patriotycznych. W 1904 r., z powodu szykan oraz zagrożenia aresztowaniem ojca Gustawa, cała rodzina Pieprznych wyjechała do Stanów Zjednoczonych. Zamieszkali na stałe w Chicago. Niemal natychmiast Gustaw zaczął uczęszczać na zajęcia klas ćwiczących gniazda nr 2 Związku Sokołów Polskich w Ameryce.
Sen o szpadzie
W 1912 r., marząc o służbie wojskowej, Pieprzny próbował dostać się na jeden z kursów gimnastyczno-wojskowych organizowanych przez Sokolstwo.
Rok przed wybuchem I wojny światowej dołączył wraz z innymi członkami chicagowskiego gniazda do Gwardii Narodowej stanu Illinois. Zajęcia w Sokolstwie łączył z ćwiczeniami wojskowymi w Gwardii, zwłaszcza w dziedzinie strzelectwa.
Był zaangażowanym sokołem, wyróżniającym się wśród kolegów podczas treningów na przyrządach gimnastycznych. Zaowocowało to powierzeniem mu funkcji podnaczelnika gniazda. W 1915 r. wyruszył w składzie sześciotysięcznego korpusu gen. Johna Pershinga na trwającą niemal rok ekspedycję przeciwko jednemu z przywódców rewolucji meksykańskiej – Pancho Villi – dokonującemu ataków na tereny USA.