Die Pfarre Ober-Grafendorf entstand vermutlich bereits gegen Ende des 12. Jahrhunderts.
Der heutige dreischiffige gotische Bau stammt im Kern aus dem 14. Jahrhundert und ersetzte damals einen romanischen Vorgängerbau.
In der Zeit von 1738 bis 1756 erfolgte eine umfangreiche Renovierung und gleichzeitige Barockisierung des Gotteshauses. Während dieser Arbeiten wurde auch der Turm auf seine heutigen 36 Meter Höhe aufgestockt und erhielt einen neuen Turmhelm, dessen Stil doch eher selten anzutreffen ist.
Die barocke Inneneinrichtung stammt zum Teil aus anderen Kirchen, aber es wurden auch einige meisterhafte Statuen und Gemälde im 18. und 19. Jahrhundert neu erschaffen.
