II Wojna Światowa

Po wybuchu II wojny światowej przedostał się przez Rumunię do Francji.

Oddał się do dyspozycji tworzącego się rządu gen. Władysława Sikorskiego i przewodniczył Międzyministerialnej Komisji Rejestracyjnej.

W pierwszych dniach listopada 1939 wszedł w skład rządu jako minister bez teki.

Na przełomie lat 1939–1940 odbył kolejną podróż do Ameryki, tym razem aby zachęcić Polonię do wstępowania do tworzącego się we Francji Wojska Polskiego.

Po upadku Francji przedostał się przez Hiszpanię i Portugalię do Wielkiej Brytanii. Tam w latach 1940–1943 pełnił funkcję Ministra Oświaty w Polskim Rządzie na Uchodźstwie.

Po zakończeniu wojny Józef Haller zdecydował się pozostać na emigracji i osiedlił się na stałe w Londynie, gdzie zmarł 4 czerwca 1960 w wieku 86 lat. Został pochowany na cmentarzu Gunnersbury. Dzięki inicjatywie polskich harcerzy z 58 TDHP „Biali” jego prochy wróciły 23 kwietnia 1993 do Polski i 15 maja spoczęły w krypcie w kościele garnizonowym św. Agnieszki w Krakowie.