Bei ihrer Weihe anno 1130 durch Mainzer Benediktiner stand die Kirche nach Ost, Nord und West frei. Südlich schloss sich der Kreuzgang mit den Klausurgebäuden an, von dem die vermauerte Tür am südlichen Querhaus noch heute zeugt, wie auch der ehrwürdige Keller unter dem ehemaligen Südtrakt des Kreuzgangs. Westlich erstreckten sich Höfe mit Wirtschaftsgebäuden, östlich lag in dem heute "Siechgarten" genannten Weinberg das Siechen- (Kranken-) Haus mit Werkstätten.

Der nördliche Platz diente bis 1807 der Gemeinde als Friedhof.

Die Kirche ist aus - wohl an Ort und Stelle gebrochenem - Quarzsand erbaut. der Grundriss ist der einer romanischen Pfeilerbasilika. Der Bodenbelag bestand wie in Eberbach aus gebrannten Tonfließen (grau, gelb, rot) mit  hübschen Tierdarstellungen sowie Band-, Pflanzen und Geometrischern Mustern. Zwei dieser Fließen - heute an der Sakristeitür eingemauert - sind nur hier gefundene Unica.  Bautätigkeit nach der ersten Aufhebung des Klosters  1563 ist belegt durch einen Türsturz von 1572 mit Trauben und Wappen des Kurfürsten Danile Brendel von Homburg.

Der Ankauf des Johannisberges durch die Fürstabtei Fulda geschah 1716. Von 1718-25 erbaute man westlich der Kirche das Schloss. Durch Abbruch der Klausurgebäude wurde die Südseite der Kirche frei. Johann Dientzenhofer, der Erbauer des Fuldaer Doms, barockisierte sie bis zum Ende der Regierungszeit des Fürstabtes Constantin von Buttlar (1714-26), dessen Wappen (2 Butten) das barocke Sandsteinportal auf der westlichen Seite am nördlichen Querschiff schmückt.

Als der Kutscher Europas, Staatskanzler Metternich, für seine besonderen Verdienste um die Leitung und Durchführung des Wiener Kongress am 1,. Juli 1816 den Johannisberg von Kaiser Franz l. als Präsent erhielt, ließ er die einschneidensten baulichen Veränderungen an der Kirche vornehmen. 

Ab 1826 hatte er durch den Darmstädter Hofbaumeister Georg Moller das Schloss klassizistisch verändern und Umbauen lassen. Derselbe arbeitete1835 Pläne für die Umgestaltung der Kirche aus, mit einem Kostenvoranschlag von von 300 Gulden. Metternich verfolgte dabei - nach den Worten von Pfarrer Giesen - die unglückselige Idee der Kirche das Aussehen einer Schlosskapelle zu geben. Das ehemalige Südquerhaus wurde abgetrennt  und diente Fortan als Sommersaal.

1885 / 86 erlebte die Kirche eine durchgreifende Restaurierung und Neuausmalung "im Stile Ludwig XVI" durch Valentin Volk aus Mainz "nach den eigenhändigen Entwürfen der überaus kunstsinnigen Fürstin Pauline von Metternich", so Pfarrer Giesen. 

Sie hatte empfohlen, an die zahlreichen Renaissance-Zutaten anzuknüpfen und diese zu einem entsprechenden Ganzen zu vervollständigen, da die Kirche ihres romanischen Charakters ohnehin entkleidet sei.

In dieser Gestalt hatten die älteren Johannisberger den Zustand ihrer Kirche vor dem Bombenangriff 1942 noch in Erinnerung.

Am 16. August 1942 berichtete Pfarrer Christian Neuroth dem Bischöflichen Ordinariat in Limburg über den Fliegerangriff in der Nacht vom 12. / 13. August auf die Kirche und das Dorf Johannisberg. Durch viele hundert Brandbomben verursacht, brannten die Kirche, das Schloss und die Ökonomiegebäude vollständig aus. Nur der östliche Pavillon und das Bürogebäude blieben verschont.

Durch den persönlichen Einsatz von Pfarrer Christian Neuroth und dem gestaltenden Architekten Professor Rudolf Schwarz aus Frankfurt begann man  mit der planerischen Gestaltung der zerstörten Kirche. Es würde hier zu weit führen, alle Unebenheiten und Schwierigkeiten aufzuzeigen, die den Bau "von Amts wegen" und fehlendem Baumaterial usw. verzögerten.

Bereits im April 1945 begann man, den Brandschutt aus der Kirche zu räumen. Dies gelang durch freiwilligen abendlichen Arbeitseinsatz, an dem sich viele Mitglieder der Kirchengemeinde tatkräftig beteiligten.

Bei diesen Arbeiten fand man übrigens den 1634 vergrabenen oder verschütteten in Stein gemeißelten Diakon, der nun als Pultträger im Chor seine "liturgische Pflicht"  erfüllt.

Architekten, Handwerker, Fach- und Hilfskräfte und der unermüdlich tätige Pfarrer Neuroth waren fortan um den Wiederaufbau der Kirche bemüht. Auch geht aus dem reichhaltigen Briefwechsel hervor, dass für den Konservator, der zu den Bauplänen seine Zustimmung geben musste, die Gesamtwirkung von Schloss und Kirche eine wesentliche Rolle spielte.

Es war ein festlicher Tag für die ganze Kirchengemeinde, ein Tag der Genugtuung und des Dankes vor allem für Pfarrer Christian Neuroth und für alle, die freiwillig und durch ihre fachliche Mitarbeit an dem großen Werk beteiligt waren.

Mit Bänken wurde die Kirche 1953 ausgestattet, die dem Schreinermeister Valentin Faust aus Johannisberg in Auftrag gegeben wurden.

1960 konnte die Orgel durch die Firma Wagenbach eingebaut werden. Sie wurde ausschließlich durch Weinspenden (über 30 Halbstück) der Winzer und Weingüter aus Johannisberg finanziert. 

Der Wunsch, von Pfarrer Neuroth, keine Kinderschellen, sondern im Ort hörbare, stärkere Glocken im mächtigen Vierungsturm unterzubringen, ging auch in Erfüllung.

5 Glocken können nun an den Sonn- und Feiertagen die Gläubigen zum Gottesdienst rufen.

Die romanische Basilika, in ihrer Einfachheit und Schlichtheit, zieht heute viele Besucher aus aller Welt an. 

Ihre ausgezeichnete Akustik lädt ein zum Konzertieren. Schon in früheren Jahren fanden hier viele Konzerte statt. Heute u.a. im Rahmen des "Rheingau-Musik-Festivals".