Urodził się 3 września 1936 r. w Sarbicach (na terenie parafii Wilamów, w diecezji włocławskiej), w rodzinie Aleksandra i Józefy z d. Szajrych. W 1937 r. rodzice przenieśli się do Ponętowa Dolnego w powiecie kolskim i zamieszkali na terenie parafii Grzegorzew. Po zakończeniu drugiej wojny światowej Józef podjął naukę w szkole podstawowej w Barłogach. Ukończył ją w 1950 r. i w tym samym roku rozpoczął naukę w Niższym Seminarium Duchownym we Włocławku. Po jego ukończeniu w 1954 r. wstąpił do Wyższego Seminarium Duchownym we Włocławku. Święcenia kapłańskie otrzymał 21 maja 1961 r. w katedrze włocławskiej.

Po święceniach kapłańskich był wikariuszem w parafiach: Osięciny (1961–1963), Złoczew (1963–1964), Brześć Kujawski (1964–1966), Skulsk (1966–1967), Słupca (1967–1968). Wyróżniał się jako dobry katecheta.

W 1968 r. został skierowany na studia z zakresu historii sztuki na Wydziale Filozoficzno-Historycznym Uniwersytetu Adama Mickiewicza w Poznaniu. Faktycznie studiował tam już od 1965 r. jako wolny słuchacz. Studia ukończył w 1972 r., uzyskując stopień magistra na podstawie pracy „Złotnictwo nowożytne na Kujawach”, napisanej w Katedrze Historii Sztuki pod kierunkiem doc. dr. Eugeniusza Iwanoyki. W czasie studiów w miesiącach wakacyjnych (w sierpniu 1969 i lipcu 1970 r.) pełnił posługę duszpasterską w parafii katedralnej we Włocławku.

Po zakończeniu studiów od 1 IX 1972 r. pełnił funkcję notariusza Kurii Diecezjalnej Włocławskiej, a także notariusza Sądu Biskupiego (do 16 V 1973 r.). W tym czasie pełnił też funkcję kapelana w domu nowicjackim Zgromadzenia Sióstr Wspólnej Pracy od Niepokalanej Maryi przy ul. Leśnej 2 (do 1 IX 1973 r.), a następnie duszpasterza młodzieży akademickiej (od 1973 r.). Pracował także w Komisji Sztuki Kościelnej, najpierw od 4 IX 1972 r. jako jej członek, a potem od 24 X 1980 r. jako zastępca przewodniczącego.

Od 1972 r. przez dwadzieścia lat (do 1992 r.) był wykładowcą historii sztuki w Wyższym Seminarium Duchownym we Włocławku. Zawsze starannie przygotowany do wykładów, urozmaicał je, wyświetlając przeźrocza i prezentując ilustracje zabytków sztuki z albumów. Studentów zobowiązywał do pisania prac dyplomowych o swoich kościołach parafialnych jako zabytkach sztuki (ok. 240 takich prac znajduje się w bibliotece Wyższego Seminarium Duchownego we Włocławku).

W latach 1974–1979 kierował parafią Orle. Odrestaurował tu drewniany kościół parafialny. Następnie w latach 1979–1983 kierował parafią Bądkowo. W tej parafii wykorzystał swoją pasję historyka sztuki, odnawiając wnętrze świątyni. W tym czasie pełnił także funkcje: wicedziekana dekanatu lubranieckiego (od 1977 r.), następnie wicedziekana dekanatu bądkowskiego (od 1979 r.), a także rejonowego wizytatora katechizacji (od 1975 r.).

W dniu 30 czerwca 1983 r. bp Jan Zaręba powierzył ks. Arabskiemu kierowanie parafią katedralną we Włocławku, na stanowisku wikariusza adiutora in omnibus (zastępcy proboszcza), zgodnie z propozycją długoletniego proboszcza tej parafii, ks. Jana Pawła Grajnerta; w tym samym roku (28 XI) ks. Arabski został mianowany administratorem. Następnie po rezygnacji ks. Grajnerta, 1 IX 1984 r. został proboszczem parafii katedralnej. W 1985 r. został obdarzony godnością kanonika gremialnego kapituły katedralnej.

Głównym zadaniem ks. Arabskiego, zgodnie z zamysłem biskupa Zaręby, miało być przyspieszenie restauracji katedry. W ciągu zaledwie pięciu lat swej pracy w katedrze zrobił wiele dla wystroju katedry. Dokończył odnawianie kaplicy św. Kazimierza. Przygotował ekspozycję średniowiecznego witraża w kaplicy św. Barbary. W 1986 r. rozpoczął restaurację  polichromii wykonanej w l. 1900‒1902 przez braci Jasińskich (zdążył zakończyć te prace tylko w prezbiterium). W latach 1983–1986 zostały odrestaurowane cztery obrazy Bartłomieja Strobla z nastawy dawnego ołtarza. Z jego inicjatywy w 1986 r. wydano folder Włocławska bazylika katedralna. Boleśnie przeżył zniszczenie w katedrze w 1986 r. przez nieznanych sprawców dwóch obrazów, w tym jednego zabytkowego ‒ Św. Franciszka, pędzla Zurbarana. Zasób argentariów katedralnych powiększył się o kielich ufundowany w 1984 r. przez bp. Jana Zarębę na 50-lecie swego kapłaństwa.

Nadbudował piętro (lekka konstrukcja) nad salkami katechetycznymi przy ul. Gdańskiej 6. Ogrodził murem od strony ul. Wyszyńskiego posesję używaną przez parafię.

Utrzymanie właściwego poziomu duszpasterstwa w parafii było bardzo ważne dla ks. Arabskiego. Parafię rozumiał jako wspólnotę tworzących ją osób, uczestniczących w modlitwie, mszach i nabożeństwach sprawowanych w katedrze. Organizowane w niej były także religijne koncerty muzyczne. By zwiększyć komfort wiernych uczestniczących w nabożeństwach katedralnych w okresie zimowym, postarał się o doprowadzenie do zadowalającego stanu ogrzewania w katedrze. Dbał o dowartościowanie nabożeństw okolicznościowych i okresowych: majowych, różańcowych, adwentowych, wielkopostnych itp. Bardzo zwracał uwagę na to, by wierni nie byli pozbawieni możliwości skorzystania z sakramentu pokuty. Ponieważ sam borykał się z kłopotami zdrowotnymi, dobrze rozumiał wagę opieki duszpasterskiej nad chorymi. Wiele uwagi poświęcał kazaniom dla dzieci.

Z powodu postępującej choroby, 30 VI 1988 r. zrezygnował z probostwa w parafii katedralnej. Pozostał jednak we Włocławku, pełniąc różne funkcje w Kurii Diecezjalnej Włocławskiej. Był członkiem Komisji ds. Budownictwa Sakralnego i Kościelnego (od 6 II 1988 r.), wiceprzewodniczącym diecezjalnej Komisji Sztuki Kościelnej (od 10 III 1988 r.), a także diecezjalnym konserwatorem zabytków, czyli przewodniczącym Wydziału Konserwacji i Zabytków w kurii (od 1 VII 1988 r.). Do 1992 r. należał także do Komisji Liturgicznej oraz Komisji Egzaminacyjnej. Jako penitencjarz katedralny służył wiernym w  konfesjonale od 20 IX 1988 r.

Zmarł 9 IX 1996 r. Został pochowany (12 IX) w kwaterze kapłańskiej na cmentarzu komunalnym we Włocławku przy al. Chopina. Jego nazwisko widnieje na tablicy upamiętniającej zmarłych rektorów i profesorów w seminarium włocławskim, a także na tablicy z wykazem proboszczów we włocławskiej katedrze.

Na podstawie: Włocławski słownik biograficzny, t. 4, Włocławek 2006, s. 2‒4.

W pracy duszpasterskiej ks. Arabskiego wspomagali wikariusze: ks. Wojciech Kochański (30 VI 1983 – 1 VII 1986); ks. Józef Nowak (od 30 VI 1983); ks. Paweł Kacprzak (30 VI 1984 – 1 VII 1985 oraz od 1 VII 1986); ks. Mieczysław Łaszczyk (1 VII 1986 – 1 V 1987); ks. Jan Salamon (od 1 V 1987); ks. Piotr Sierzchała (od 1 V 1987). Chór katedralny prowadził w tym czasie ks. Józef Nowak (od 1983).