Józef Maria Rubio Peralta urodził się w małej hiszpańskiej wiosce Dalías, w chłopskiej rodzinie. Chłopak był najstarszy z dwunastki dzieci Francisca i Mercedes. Już w dzieciństwie wyróżniał się na tle rówieśników inteligencją, pobożnością i hartem ducha. Dzięki wsparciu swojego wuja rozpoczął naukę w Madrycie. Szybko jednak rozeznał powołanie i ze stolicy przeniósł się do seminarium diecezjalnego w Almerii. Później studiował filozofię, teologię i prawo kanoniczne w Grenadzie, Madrycie i Toledo. W 1887 r. otrzymał święcenia kapłańskie. Był gorliwym kapłanem, już na pierwszej parafii, do której trafił, zyskał opinię świętego męża.

Józef piął się po szczeblach kariery, został profesorem akademickim i notariuszem diecezjalnym, lecz zawsze miał na uwadze dobro biednych, którym niestrudzenie niósł pomoc, m.in. prowadził posługę duszpasterską w najuboższych dzielnicach Madrytu i uczył za darmo dzieci z biednych rodzin. Zasłynął też jako znakomity spowiednik.

Choć był księdzem diecezjalnym, pociągało go życie zakonne i w 1906 r. wstąpił do nowicjatu jezuitów. Po złożeniu ślubów „oddał się bez reszty apostolstwu słowa i sakramentów, spędzał wiele godzin w konfesjonale i niestrudzenie prowadził ćwiczenia duchowne, formując licznych chrześcijan, którzy później, w okresie prześladowań religijnych w Hiszpanii, ponieśli męczeństwo” – zauważył Jan Paweł II.