Urkundlich erstmals erscheint jedoch ein Pfarrhaus in Feldkirch in einer Urkunde vom 5.April 1340, nach der Graf Ulrich v. Montfort dem Feldkircher Leutpriester und Dekan Heinrich von Wetzikon sein Haus im Baumgarten, das so genannte „alte Haus“, zu einer Wohnung überließ. Er stellte die Bedingung, dass der Pfarrer in der Fronfastenwoche jeweils einen Jahrtag für den Stifter, dessen Eltern und Großeltern halte.
Ein anderes Montforter-Haus schenkte Graf Rudolf IV. am 1. März 1365 dem Pfarrer Hermann Aldrian und seinen Nachfolgern. Dieses stand vermutlich auf dem Platz des heutigen Bezirkshauptmannschaftsgebäudes, während das erstgenannte Haus sich bereits am Standort des nunmehrigen Pfarrhauses befunden haben dürfte.
Den heutigen Pfarrhof – seit 1968 Dompfarramt – ließ Stadtpfarrer Johann Frey v. Schönstein errichten (1672/73). Die Baukosten wurden mit Hilfe des Stadtmagistrates und des Domkapitels von Chur aufgebracht. Johann Frey v. Schönstein war es auch, der den Bauauftrag für die Benefiziatenhäuser in der Herrengasse erteilte.
Über Betreiben des rührigen Pfarrers Benedikt Wolf konnte im Sommer 1819 der obere Stock des Pfarrhofs, der für Wohnzwecke unbrauchbar geworden war, instandgesetzt werden. Ebenso wurden zahlreiche andere notwendige Reparaturen am Hause vorgenommen.
Im Jahre 1888 wurden erneut am Pfarrhof notwendig gewordene Reparaturen in der Höhe von etwa 1000 fl vorgenommen.Bei Amtsantritt des Stadtpfarrers Karl v. Ganahl ließ die Stadtgemeinde im Herbst 1936 im Pfarrhof eine Zentralheizung installieren. Zugleich stellte sie anstatt des bisher bezogenen Bürgerholzes für die Zukunft die jährliche Lieferung von Kohle im Werte von 100 Schilling in Aussicht.
Unter Stadtpfarrer Franz Maurer erhielt im Jahre 1947 die Pfarrkanzlei, zu deren Führung schon unter seinem Vorgänger erstmals eine eigene besoldete Bürokraft angestellt worden war, eine neue in Hartholz stilvoll ausgeführte Mobilarausstattung. Im gleichen Jahr wurde im Dachgeschoss eine Kammer für den Dienstboten erstellt und eingerichtet.
Der Pfarrhof in seiner repräsentativen Bauart beherrscht noch immer den Blick aufwärts in die Neustadt und südwärts in die Herrengasse. Vor der Rückseite, deren Mauerfront in gleicher Flucht mit den angereihten Herren- oder Benefiziaten-Häusern verläuft, breitet sich der heute – wie bereits erwähnt – durch verschiedene Straßenbauprojekte immer bedeutungsloser gewordene kleine Pfarrgarten aus.
In den beiden stadtwärts situierten Wohnräumen im 1. und 2. Stock ist je im Obergesims über der mittleren steinernen Säule zwischen den Fenstern die Jahreszahl der Erbauung des Pfarrhauses (1673) eingemeißelt.
In den Hausfluren des Erdgeschosses und beider Stockwerke, im Treppenhaus und in den Wohnräumen begegnet dem Besucher eine ganze Reihe von Gemälden, alten Altarbildern, Statuen und kirchlicher Zierrat aus mehreren Jahrhunderten.
Im Keller des Pfarrhauses wurde ein Seminarraum eingerichtet für Agapen, Pfarrkaffee und kleiner Vorträge eingerichtet. Diese Räume nennen sich: „Im Pfarrhaus“