De pastorie is een breed en statig gebouw en ouder dan de kerk ernaast. Ze werd in 1838 gebouwd gelijktijdig met de voorgangkerk, de St. Jozefkerk aan de Oude Langendijk. De pastorie geeft in het interieur een goede indruk van haar geschiedenis en haar functie in relatie tot kerk en parochie. Op de begane grond is een grote vergaderzaal met stucplafond en hardstenen schouw. In de pastorie is verder een grote collectie pastoors portretten.