Im Jahre 1175 überträgt der Salzburger Edelmann Otto von Kulm sein Gehöft, zu dem auch der Berg Kulm gehört, dem Stift Admont.
Laut Legende spült 1404 ein Hochwasser der Enns ein hölzernes Kunstwerk ans Ufer, für das Abt Hartnid eine erste Kapelle errichten lässt.
Bereits 1410 wird der Grundstein zum gotischen Vorgängerbau gelegt und die Wallfahrt nimmt zu, was päpstliche Ablassbriefe belegen. Im Jahr 1423 wird der gotische Bau fertiggestellt und eingeweiht.
Im Zuge der Reformation im 16. Jahrhundert kommt der Pilgerzustrom zum Erliegen, wie in den meisten Wallfahrtsorten. Erst die Gegenreformation sorgt wieder für mehr Besucher.
Das 17. Jahrhundert bringt einen derartigen Aufschwung mit sich, dass im Jahre 1683 der Grundstein zur heutigen barocken Kirche gelegt wird. Unter der Leitung des Baumeisters Carlantonio Carlone wird ein barockes Kunstwerk geschaffen.
Abt Gottfried von Lampoding lässt 1702 zusätzlich die beiden Osttürme errichten.
Der dreigeschossige Hauptaltar wurde Ende des 17. Jahrhunderts von Martin Neuberg, dem damaligen Stiftstischler von Admont, geschaffen. Er beherbergt eine Schnitzfiguren von Josef Stammel, welcher auch die steinernen Figuren am Kalvarienberg vor der Kirche schuf.
Insgesamt ist der Bau ein wunderschönes Kunstwerk, das die Stilrichtungen des Frühbarock bis zum Rokoko stimmig in sich vereint.
