Józef Rymer przyszedł na świat w Zabełkowie koło Raciborza 9 lutego 1882 r. Był synem Józefa i Joanny z domu Zielonka. Miejscowość, z której pochodził, mia!a polski charakter. Było to widoczne także w domu rodzinnym Rymerów, w którym mówiono po polsku i kultywowano katolickie zwyczaje. Józef ukończył szkołę powszechną w rodzinnej miejscowości; był zdolnym uczniem, dlatego rodzicom sugerowano, aby posłali go do gimnazjum. Rymerów nie było jednak stać na dalsze kształcenie synów, utrzymywali się bowiem z jednohektarowego gospodarstwa.
Działacz propolski
Po ukończeniu szkoły Józef podjął naukę zawodu u kupca Akerchalta, którą porzucił z powodu braku perspektyw na znalezienie posady w handlu. Zatrudnił się jako robotnik murarski w pobliskim Bohuminie. W tym czasie sam dokształcał się, korzystając z polskich książek. Wartości wyniesione z domu rodzinnego miały wpływ na jego działania i poglądy. Około 1897 r. Józef z bratem Janem wyjechał do Westfalii, do Zagłębia Ruhry i zatrudnił się jako górnik w kopalni „Carolus Magnus” w DelIwig, które w 1915 r. zostało włączone do Essen. Uczył się też w szkole wieczorowej.
W Westfalii Rymer zainteresował się działalnością polskich organizacji. Wiele z nich powstawało przy parafiach prowadzonych przez polskich księży. Został najpierw członkiem Towarzystwa św. Barbary, które zrzeszało miejscowych górników. Zebrania towarzystwa odbywały się w języku polskim, a jego członkowie kultywowali polskie zwyczaje i tradycje. Później wstąpił także do Towarzystwa Gimnastycznego „Sokół” ui oraz Towarzystwa Czytelni Ludowych.
Na emigracji ujawniły się istotne cechy charakteru młodego górnika ze Śląska, przede wszystkim pracowitość i upór. Był człowiekiem zdolnym i ambitnym, cieszył się dużym autorytetem wśród robotników i pracodawców. Włączył się w działalność związkową Polaków w Niemczech i 8 listopada 1902 r. został członkiem Zjednoczenia Zawodowego Polskiego. Organizacja ta łączyła polskie związki zawodowe działające w Cesarstwie Niemieckim, jej głównym celem była obrona praw robotników i ich rodzin; pełniła także funkcję partii politycznej. Członkowie ZZP krytykowali działalność socjalistów i ruchu komunistycznego, odrzucali walkę klas.
Rymer podjął się utworzenia filii ZZP w kopalni w Dellwig. Dał się wówczas poznać jako sprawny organizator, szczególnie w czasie strajków w 1905 r. W 1906 r. ożenił się z pochodzącą z Zabełkowa Teresą Kozubek. Małżeństwo doczekało się dziewięciorga dzieci.
W 1907 r. Rymer został kierownikiem sekcji ZZP w Bochum. Uczestniczył w wiecach, zebraniach i zjazdach, wygłaszał referaty, pisał artykuły dla gazet emigracyjnych, reprezentował związek podczas kongresów robotniczych. Był członkiem kolegium pisma „Polak”, organu prasowego ZZP. Wyróżnił się jako doskonały i odważny mówca: przeciwstawiał się pracodawcom, niemieckim władzom państwowym i niemieckim związkom zawodowym. Umiał dotrzeć do słuchaczy. W 1911 r. protestował przeciwko ustawie kagańcowej, która zabraniała publicznego używania języka polskiego. Wszedł do kierowniczego gremium ZZP i 7 czerwca 1913 r. na Walnym Zjeździe Delegatów ZZP w Berlinie został wybrany na prezesa Centralnego Zarządu. W tym okresie przeniósł się z rodziną do Katowic.
Autorytet Józefa Rymera próbowały wykorzystać władze niemieckie, które podczas I wojny światowej chciały posłużyć się ZZP. Rymer zapewnił Niemców o swojej lojalności wobec państwa, jednak nie zgodził się na działalność propagandową na rzecz niemieckiego zwycięstwa — bronił apolitycznego charakteru organizacji. Z powodu tej nieprzejednanej postawy miał być nawet aresztowany, jednak ostatecznie do tego nie doszło. Był obserwowany przez władze, a jego korespondencja podlegała kontroli.
Po wybuchu wojny Rymer nadal prowadził działalność wśród robotników. Funkcjonowanie związków zawodowych było jednak utrudnione, ponieważ zakłady pracy zostały zmilitaryzowane, a mężczyzn powoływano do wojska. Sytuację pogarszały narzucone ograniczenia w wydawaniu gazet, takich jak „Katolik” czy „Nowiny Raciborskie”. Rymer włączył się w pomoc dla ludności na terenie zaborów rosyjskiego i austriackiego — z ramienia ZZP prowadził zbiórkę środków materialnych oraz żywności. Pod koniec działań wojennych został jednym z twórców Towarzystwa Oświaty na Śląsku im. św. Jacka. Byt też członkiem Komitetu Okręgowego oraz Rady Głównej Towarzystwa Czytelni Ludowych.
18 października 1917 r. powołano Narodowe Stronnictwo Robotników, którego Rymer był współzałożycielem i wiceprezesem. Organizacja miała na celu poprawę świadomości robotniczej poprzez samokształcenie. Dzięki działalności w NSR Rymer zdobył popularność wśród Polaków na Śląsku.