I wojna światowa zastała Becka podczas studiów w Wiedniu. Wstąpił do Legionów, później brał udział w wojnie z bolszewikami. Ukończył Wyższą Szkołę Wojenną w Warszawie. Od zamachu majowego stał się jednym z najbliższych współpracowników Piłsudskiego, wyjątkowo lubianym przez marszałka.
W 1930 r. został zastępcą Augusta Zalewskiego w MSZ a dwa lata później szefem polskiej dyplomacji i jej autorem. Choć później był oskarżany o zbyt bliskie stosunki z Niemcami, zdaniem większości badaczy starał się prowadzić odpowiedzialną politykę równowagi w stosunkach z Sowietami i Niemcami. Był jednak również współodpowiedzialny za włączenie Zaolzia do Polski w 1938 r.
Jesienią 1938 i wiosną 1939 r. zdecydowanie odrzucił składane Polsce przez Niemcy propozycje, przyłączenie Gdańska do Rzeszy i zbudowanie eksterytorialnej autostrady przez polskie Pomorze do Prus Wschodnich. Słusznie argumentował, że byłby to krok w stronę uczynienia z Polski wasala Niemiec.
Klęska wrześniowa była także klęską Józefa Becka. Przekroczył granicę z Rumunią i do końca życia pozostał internowany. Generał Sikorski nie zgodził się na jego wyjazd do Francji, a podjęta próba ucieczki zakończyła się niepowodzeniem. Podczas internowania Beck napisał swoje wspomnienia „Ostatni raport”.
Po śmierci 5 czerwca 1944 roku Beck został pochowany w Bukareszcie. W 1991 roku jego prochy sprowadzono do Polski i złożono na Cmentarzu Wojskowym na Powązkach.