Armia Austro-Węgier

Po ukończeniu studiów Józef Haller został mianowany z dniem 18 lipca 1895 na stopień podporucznika i rozpoczął służbę w 11 pułku artylerii polowej we Lwowie.

Pełnił służbę w Krakowie (1895-96), Stanisławowie (1896-99) i ponownie we Lwowie w 31 pułku artylerii. Pełnił funkcję instruktora, a następnie komendanta w jednorocznej ochotniczej szkole oficerskiej artylerii.

Przeprowadził reformę nauczania, usuwając zdemoralizowanych zawodowych oficerów ze stanowisk instruktorskich i zastępując ich ochotnikami. Wprowadził do szkół oficerskich język polski, powołując się na uchwały parlamentu wiedeńskiego, które dopuszczały częściowe używanie języka polskiego w wojsku.

Za osiągnięcie znakomitych wyników otrzymał najwyższe austriackie odznaczenie wojskowe Wojskowy Medal Zasługi (Signum Laudis).

Zakończył służbę w bliżej nieznanych okolicznościach i nieznanym czasie. Kosk podaje, że przeszedł do rezerwy w 1907, Bielski – że w 1912 przeszedł na emeryturę. Kosk podaje, że awansował w 1907 do stopnia kapitana, tymczasem Bielski podaje awans w 1909 i kolejny, w 1912, na majora.