Erstmalig wurde auf dem Ehrenbreitstein um 1000 eine Burg erwähnt. Errichtet von einem Ehrenbert oder Ehrenbrecht aus konradinischem Haus. Diese ging 1020 in den Besitz der Erzbischöfe von Trier über. Erzbischof Hillin von Fallemanien ließ ab 1160 diese Burg weiter ausbauen. Auf der Südseite entstand die Burg Helfenstein. Hier wohnten vom 12. bis zum 16. Jahrhundert die Herren von Helfenstein. Kurfürst Richard von Greiffenklau ließ Anfang des 16. Jahrhunderts die Burg zu einer Festung ausbauen. Dieser ließ auch 1524 die neun Tonnen schwere Kanone Greif in Frankfurt gießen und auf dem Ehrenbreitstein aufstellen.Um das Jahr 1493 wurde in Ehrenbreitstein ein Augustinereremitenklosters von Johannes Paltz gegründet. Dieser war Theologieprofessor und Lehrer von Martin Luther. Das Kloster wurde 1573 wieder aufgelöst.

Unterhalb der Festung erbaute Kurfürst Philipp Christoph von Sötern 1626 bis 1629 das Schloss Philippsburg und verlegte hierher 1629 seine Residenz.. Auf seinen persönlichen Wunsch hin siedelten sich die Kapuziner 1627 in Ehrenbreitstein an und bauten sich ein Kloster. Im Dreißigjährigen Krieg wurde Ehrenbreitstein 1636 schwer verwüstet..

Die nachfolgenden Kurfürsten behielten das Schloss Philippsburg als Residenz bei. Unmittelbar an der Zufahrt zum Schloss entstand unter Kurfürst Franz Georg von Schönborn von 1739 bis 1749 ein schlossähnliches Gebäude, der so genannte Dikasterialbau (siehe Dikasterium), nach Plänen von Balthasar Neumann. Nach 1747 wurde hinter dem Dikasterialbau der Krummstall zur Unterbringung von Soldaten gebaut. Neben dem Dikasterialbau errichtete Johann Seitz 1764 den Marstall im Stil des Rokoko.

Nachdem französische Truppen 1794 Koblenz erobert hatten, belagerten diese die Festung bis zu ihrer kampflosen Aufgabe 1799. Die Festung wurde 1801 gesprengt. Ehrenbreitstein kam 1815 an Preußen. Das preußische Militär baute die Festung im Rahmen des Baus der Festung Koblenz von 1817 bis 1828 wieder neu auf.