Belangrijkste verschil met de Pieterskerk was het iets kleinere formaat van de Janskerk. Daarnaast bezat de Janskerk een ander westwerkmet een halfronde apsis tussen de twee (verdwenen) torens in, maar deze apsis is waarschijnlijk een toevoeging uit de twaalfde eeuwgeweest. De pandhof bevond zich bij uitzondering aan de noordzijde van de kerk, aangezien aan de zuidzijde de oever van een oudeRijnarm de bouw onmogelijk maakte.

Van het originele bouwwerk in romaanse stijl zijn het schip en het dwarsschip grotendeels bewaard gebleven. De ronde zuilen uit rode zandsteen werden echter in de dertiende eeuw ommetseld tot vierkante pijlers. Een van de oorspronkelijke zuilen is uit het omringende metselwerk gehaald en in de noorderzijbeuk opgesteld.
Het kleine romaanse koor met crypte werd van 1508 tot 1539 vervangen door het huidige groots opgezette koor met zijkapellen inlaatgotische stijl, vermoedelijk naar ontwerp van Willem van Noort.
Het romaanse westwerk is in stappen verdwenen: in de veertiende eeuw is de noordelijke toren waarschijnlijk al ingestort; de tornado van 1674, die onder meer het schip van de Dom omverblies, bracht verdere schade aan, en de laatste resten van het westwerk, inclusief de zuidelijke toren, werden in1681 gesloopt en vervangen door een eenvoudige nieuwe gevel. Tegelijkertijd werd de pandhof gesloopt en de Antoniuskapel vervangen door dehoofdwacht links naast de voorgevel van de kerk. De rijkversierde gevelsteen uit 1660 is afkomstig van de voorganger van deze hoofdwacht.
Tot 1580 behoorde de kerk met de omringende immuniteit toe aan het kapittel van Sint-Jan. Na de Reformatie werd het koor ingericht als stadsbibliotheek (de voorloper van de Universiteitsbibliotheek), terwijl de Waalse en Engelse gemeenten in de rest van het gebouw kerkten. In 1656 werd de Janskerk in gebruik genomen als hervormde kerk, hoewel de bibliotheek van de Utrechtse universiteit nog tot 1821 in het koor gehuisvest bleef. Kort na de Franse tijd aan het begin van de negentiende eeuw deed de kerk tijdelijk dienst als kazerne voor Russische en Pruisische soldaten.
Om de kerk beter geschikt te maken voor de protestantse dienst, werd in 1657 de helft van de pijlers in het schip weggebroken. Deze zowel constructief als esthetisch onbevredigende toestand is bij de laatste restauratie, die van 1977 tot 1981 geduurd heeft, weer ongedaan gemaakt.

In de Janskerk wordt tegenwoordig iedere zondag een oecumenische dienst voor studenten gehouden.