De kerk is ontstaan in een kleine handelsnederzetting aan een tak van de Rijn, die in de 12e eeuw binnen de omwalling van Utrecht werd opgenomen. De kerk werd vele malen uitgebreid om tegemoet te komen aan de steeds groeiende bevolking. Uiteindelijk is de toren ingebouwd geraakt door de omringende schipbeuken. De oudste delen van de kerk dateren uit de 13e eeuw, maar de huidige vorm als een geheel in steen overwelfde hallenkerk dateert uit de 15e eeuw.
In 1566 werd de Jacobikerk geteisterd door de Beeldenstorm. Tijdens de Opstand, bij het beleg van kasteel Vredenburg in 1576-1577 werd het zuidwestelijke deel van de kerk door beschieting zwaar beschadigd. Het stenen gewelf stortte in en werd vervangen door een nog aanwezige houten zoldering. In deze roerige tijden was Hubert Duifhuis predikant van de Jacobigemeente. In 1580 werd de kerk definitief protestants.
De zeer ranke torenspits (hoogte ca. 80 m) woei om tijdens de orkaan van 1674, waarbij de beiaard van de gebroeders Hemony ook verloren ging. Pas in 1954 werd een nieuwe spits gebouwd, aanmerkelijk lager dan de oorspronkelijke. De toren is nu 63 meter hoog en daarmee na de Domtoren het hoogste bouwwerk in de Utrechtse binnenstad.