Um 1630 wurde die Region vor dem Arlberg das letzte Mal von der Pest heimgesucht. Die Einwohner von Ludesch gelobten den Bau einer neuen Pfarrkirche zu Ehren des Pestpatrons Sebastian, setzten dieses Gelöbnis aber nicht in die Tat um.
1637 traf Ludesch erneut die Pest und die Bevölkerung erschrak derart, dass sie ihr Gelübde doch noch einlöste.
So wurde in den Jahren 1637 bis 1639 die heutige barocke Pfarrkirche errichtet. Als Architekt und Gönner fungierte vermutlich Vogt Johann Rudolf von der Halden, dessen Bauplan auch bei den Kirchen St. Jakob in Bludesch und St. Stephan in Thüringen umgesetzt wurde.
Seit damals blieb der Bau relativ unverändert, bis auf eine Verlängerung des Kirchenschiffes im Jahre 1886.
Die drei schwarzen Marmoraltäre wurden im 18. Jahrhundert und 19. Jahrhundert aufgestellt, wobei teilweise Figuren und Gemälde aus dem 18. Jahrhundert und älter, wiederverwendet wurden.
