Dynamiczny rozwój Związku zahamowało dojście do władzy Adolfa Hitlera w 1933 roku. Odtąd Polacy podlegali zmasowanym represjom i terrorowi, łącznie z zabójstwami, a polskie placówki były napadane i niszczone. Po wybuchu II wojny światowej Niemcy pozbawili Polaków statusu mniejszości narodowej, działalność ZPwN została zakazana, a majątek przejęty i zdefraudowany. Działacze Związku trafili do obozów koncentracyjnych i więzień. Tam z powodu swojej przynależności narodowej i dotychczasowego manifestowania polskości byli torturowani i mordowani. Do dziś Polacy nie odzyskali w Niemczech statusu mniejszości narodowej, nie zwrócono im również zrabowanego majątku. Ponadto nie zostały też Polsce wypłacone jakiekolwiek reparacje wojenne.
Obecność Polaków na terenie państwa niemieckiego, działalność związku, sylwetki najbardziej znanych działaczy oraz represje, jakie ich spotykały ze strony Niemców za trwanie przy polskości przedstawia ogólnopolska wystawa Instytutu Pamięci Narodowej „»Jesteśmy Polakami«. Związek Polaków w Niemczech”.