Die Grundsteinlegung von Herz Jesu, der einzigen der o.g. Gotteshäuser direkt an den Ringen, erfolgte 1893. Der Bau wurde nach Plänen des Architekten und Werkmeisters an der Kölner Dombauhütte, Friedrich von Schmidt, Schüler des Architekten und Dombaumeisters Ernst Friedrich Zwirner, entworfen. Von Schmidt wurde später Dombaumeister in Wien und zeichnete sich neben dem Bau von Herz Jesu u.a. für das Wiender Rathaus verantwortlich.
Bereits 1852 hatte der Kölner Generalvikar angewiesen, dass in Architektur und Kunst der gotische Stil hervortreten solle und dass sämtliche Entwürfe für den Neubau von Kirchen in diesem Sinne von einer Kommission überprüft werden sollten. Von Schmidt entwarf die Kirche deshalb als neogotisches Gotteshaus bereits in den 1880ern. Laut Gründungsurkunde des Herz-Jesu-Bauvereines sollte die neue Kirche "in Schönheit und Erhabenheit dem [erst kurz zuvor vollendeten, Anm.] Kölner Dome nicht nachstehen".
Von Schmidt verstarb kurz vor der Grundsteinlegung; der Bau wurde unter der Leitung seines Sohnes Heinrich von Schmidt errichtet; Hauptschiff und Chor wurden nach nur zweijähriger Bauzeit im Herbst 1895 geweiht (siehe Foto), allerdings ohne die im ursprünglichen Entwurf geplanten drei Kirchtürme, sondern nur mit einem (stark an den Vierungsturm des Domes angelehnten) Dachreiter. 1906-1909 wurde an der den Ringen abgewandten Seite doch noch ein Kirchturm errichtet.