Pierwszym naczelnikiem Szarych Szeregów był Florian Marciniak ps. „Nowak”. Funkcję tę pełnił do 6 maja 1943 r., kiedy został aresztowany przez Gestapo. Jego następcą został Stanisław Broniewski ps. „Orsza”, dowodzący Szarymi Szeregami do 3 października 1944 r., ostatnim naczelnikiem był wspomniany Leon Marszałek.
„Dziś – jutro – pojutrze”
Schemat organizacyjny harcerstwa w okresie wojny funkcjonował w oparciu o nazwy konspiracyjne: Główna Kwatera była określana jako „Pasieka”, chorągwie jako „Ule”, hufce – „Roje”, drużyny – „Rodziny”, natomiast zastępy nazywano „Pszczołami”.
Członkowie Szarych Szeregów, składając w okresie okupacji przysięgę na podstawie przedwojennego Prawa i Przyrzeczenia Harcerskiego, do słów roty w trakcie ślubowania dodawali słowa:
„Ślubuję na Twoje ręce pełnić służbę w Szarych Szeregach, tajemnic organizacyjnych dochować, do rozkazów służbowych się stosować, nie cofnąć się przed ofiarą życia”.
Walka Szarych Szeregów z okupantem w okresie wojny przybierała różne formy, a dewizą organizacji było hasło „Dziś – jutro – pojutrze”, co oznaczało: „dziś” – opór przeciwko Niemcom i przygotowanie do powstania, „jutro” – otwartą walkę zbrojną z okupantem, a „pojutrze” – pracę dla wolnej Polski.
Nie cofnąć się przed ofiarą życia
Z uwagi na wiek harcerzy podzielono na następujące grupy: Grupy Szturmowe (powyżej 18 lat), Szkoły Bojowe (15-17 lat), Zawiszacy (12-14 lat). Każda z grup wiekowych Szarych Szeregów wykonywała określone zadania.
Grupy Szturmowe (przyporządkowane w późniejszym okresie Kierownictwu Dywersji KG AK) prowadziły zadania dywersyjno-sabotażowe. Pierwszą akcję przeprowadziły w noc sylwestrową z 31 grudnia 1942 na 1 stycznia 1943 r., wysadzając tory pod Kraśnikiem w ramach akcji krypt. „Wieniec II”. Ponadto Grupy Szturmowe przeprowadzały akcje odbicia więźniów (m.in. akcję pod Arsenałem, podczas której 26 marca 1943 r. odbito 25 osadzonych przewożonych z al. Szucha na Pawiak, w tym Jana Bytnara ps. „Rudy”) oraz zamachy na funkcjonariuszy niemieckich, np. na Franza Kutscherę, dowódcę SS i policji na dystrykt warszawski (1 lutego 1944 r.).
Z tej grupy, 1 września 1943 roku, wyodrębniono batalion „Zośka”, złożony z trzech kompanii szturmowych. Z jednej z nich jesienią 1943 r. utworzono oddział dywersji bojowej „Agat”, przekształcony następnie na „Pegaz”, a w czerwcu 1944 r. zmieniony na batalion „Parasol”. Oba walczyły w czasie Powstania Warszawskiego.