Schon seit mehr als 800 Jahren prägt der mächtige Turm von Groß St. Martin das Kölner Rheinpanorama.

Die archäologisch gesicherte Vorgängerbebauung, ursprünglich auf einer ufernahen Rheininsel außerhalb des römischen Köln, gelegen, gehört zur ältesten gefundenen Bebauung im Kölner Stadtgebiet und stammt mindestens aus der ersten Hälfte des 1. Jahrhunderts, ist vielleicht aber sogar noch älter.

Der etwa auf Höhe von heutigem Alter Markt und Heumarkt gelegene Rheinarm zwischen Ufer und Insel versandete im Laufe der Jahrhunderte zunehmend und wurde schließlich zugeschüttet, sodass in hochmittelalterlicher Zeit auf der einst vorgelagerten Insel ein neues Kaufmannsviertel angelegt werden konnte. 

Als gesicherte Erstbebauung gilt eine ummauerte Platzanlage mit einer großen, leicht vertieften Innenfläche sowie einem 34 mal 17m und 1,7m tiefen Wasserbecken. Da ähnliche Anlagen nicht bekannt und keine Informationen über ihre Nutzung überliefert sind, können nur Vermutungen über ihren Verwendungszweck angestellt werden: Die große Fläche wird als Sportplatz (palaestra) gedeutet, das Wasserbecken als Schwimmbad (natatio) oder als Lagerbecken für Fische und Muscheln der Rheinfischer.

In der Mitte des 2. Jahrhunderts wird das Gelände - vermutlich zum Hochwasserschutz - fast 2m aufgeschüttet und mit vier großen Lagerhallen überbaut. Ausgrabungen der 1960er und 70er Jahre haben die einzelnen Bauphasen erschlossen; die römischen Vorgängerbauten sind heute in der Unterkirche unter Groß St. Martin zu besichtigen.

Die Grundsteinlegung des ersten Kirchbaus an dieser Stelle lässt sich nicht eindeutig bestimmen. Eine Erstgründung in fränkischer Zeit (5. bis 9. Jhdt.) gilt - nicht zuletzt wegen des Patroziniums des fränkischen "Nationalheiligen" St. Martin - als möglich, aber unbelegt. Auch eine noch davor liegende Nutzung einer römischen Lagerhalle als frühe, erste Kirche ist nicht belegbar.  

Als gesichert gilt hingegen die im Lorscher Codex erwähnte Gründung durch den Kölner Erzbischof Brun (953–965) als Chorherrenstift zu Ehren von Martin von Tours.

Erzbischof Everger wandelte das Stift im Jahre 989 in ein sogenanntes Schottenkloster um, das durch irische Benediktiner (genannt "Schotten") bewohnt wurde. Bis zum Beginn des 12. Jahrhunderts wurden die ausländischen Mönche nach und nach durch einheimische Mönche ersetzt. 

Ein verheerender Großbrand vernichtete 1150 beinahe die gesamte Rheinvorstadt, dabei wurde auch die Kirche des Benediktinerklosters in Mitleidenschaft gezogen. Nach dem Brand wurde der beschädigte Bau offenbar komplett abgerissen und in der Folgezeit durch einen Neubau ersetzt. In einem ersten Bauabschnitt wurde der kleeblattförmige Chor (Trikonchos) erbaut (der einzige bis heute fast unverändert erhaltene Teil) und 1172 von Erzbischof Philipp I. von Heinsberg geweiht.

Die Skeptiker eines Wiederaufbaus setzten sich jedoch nicht durch. 1948 begannen erste Wiederaufbau- und Sicherungsarbeiten, der Vierungsturm hatte 1965 seine alte Gestalt und damit Köln ein wichtiges Wahrzeichen zurück. Insgesamt zog sich die Wiederherstellung über 40 Jahre hin; erst am 13. Januar 1985 öffnete sich die Kirche erstmals wieder für die Öffentlichkeit. Als ein Grund für die sehr lange Restaurierungszeit wird genannt, dass es nach dem Zweiten Weltkrieg keine Pfarrgemeinde für Groß St. Martin mehr gab. Sie wurde nach dem Zweiten Weltkrieg aufgelöst und die verbliebenen Mitglieder wurden der Pfarrgemeinde des Kölner Doms zugewiesen. So fehlte die bei anderen Kölner Kirchen vorhandene treibende Kraft, den Gottesdienstraum möglichst schnell wiederherzustellen, und der Fokus lag zunächst vor allem auf der Erneuerung des Turmes als Schwerpunkt im Stadtbild. 

Seit 2009 ist Groß St. Martin, nach 200jähriger Pause, durch die Übergabe der Kirche an die Monastischen Gemeinschaften von Jerusalem, wieder eine Klosterkirche und damit ein spirituelles Zentrum im Herzen der Kölner Innenstadt.