Dechant Gschellhammer begann 1756 mit dem Neubau des schlossähnlichen Pfarrhofes nach den Plänen von Mathias Gerl. Das steinerne Eingangsportal trägt Dechant Gschellhammers Wappen.
Im Pfarrhof sind viele herrliche Zimmer mit doppelten, wohlangebrachten Türen und Fenstern. Im Innern führt ein schöner, barocker Stiegenaufgang mit Leuchtputten (früher für Beleuchtungskörper) am Geländer in den 1. Stock
Im Agathasaal hängen unter den Bildnissen früherer Pfarrherren auch drei, die vom Kremser Schmidt gemalt wurden: Dechant Gschellhammer (1974), Dechant Müller (1788) und Dechant Schwarzl (1790).
Das "Aussichts- oder Sonnenzimmer" auf der Südseite erinnert an eine Klosterbibliothek. Die Deckenfresken mit Illusionsmalerei stammen von Johann Paul Gruber.
Im Hof des Pfarrhofes finden sich noch Reste der ehemaligen Wirtschaftsgebäude und Stallungen des Pfarrgutes. Erhalten sind auch noch barocke Lüftungssteine der weitläufigen Kelleranlagen unter dem Pfarrhof.