Nakon što je Gradec proglašen slobodnim kraljevskim gradom, njegovi su se stanovnici obvezali u razdoblju od 1242. do 1266. godine izgraditi utvrdu oko svog grada. Djelomično očuvani zidovi ostali su do danas, a jedina vrata iz tog razdoblja su Kamenita vrata. Riječ je o  ostatku utvrde kojom je nekada bio opasan Gradec i premda se spominju od 1429. godine, pretpostavlja se da su podignuta u prije navedenom razdoblju. Kroz povijest su često bila pregrađivana.

To je zgrada oblikovana poput pravokutne kule s kolnim prolazom. Vrata su tijekom povijesti služila kao glavna prometnica i glavni ulaz u grad. Zanimljivo je da su za vrijeme kuge 1647. godine sva gradska vrata morala biti zatvorena osim Kamenitih.

Kamenita vrata sagrađena su u 13. stoljeću, a svoj današnji oblik dobila su 1760. godine. U prolazu vrata smještena je kapelica sa slikom Majke Božje od Kamenitih vrata, zaštitnice grada. Vrata su preživjela i nekoliko strašnih požara u povijesti. U priči o požaru 31. svibnja 1731. godine izgorjelo je sve osim slike Majke Božje. Iste je godine slika postavljena u barokni oltar u udubljenju prolaza Kamenitih vrata.

Slika je izrađena na lanenom platnu u veličini 57 x 47 cm i predstavlja Majku Božju, koja je na 200. godišnjicu njezina čudesnog očuvanja, 31. svibnja 1931. godine, svečano okrunjena zlatnom krunom. Oltar je kovanom rešetkom odijeljen od prolaza i smatra se najljepšim primjerkom barokne kovačke umjetnosti u sjevernoj Hrvatskoj. Od tada Kamenita vrata postaju najpoznatije zagrebačko svetište, gdje vjernici paljenjem svijeća i molitvom nalaze utjehu i nadu.

Kamenita vrata, jedan od simbola grada, spašena su od rušenja 1907. godine zalaganjem Družbe „Braća Hrvatskoga Zmaja“, a danas se u povijesnoj dvorani na katu nalazi njihovo sjedište.

Na 260. godišnjicu obilježavanja tog svetišta, zagrebački nadbiskup Franjo Kuharić proglasio je 31. svibnja 1991. godine Majku Božju od Kamenitih vrata i zaštitnicom Zagreba, a na taj se blagdan obilježava i Dan grada.

Kamenita vrata ovjekovječena su i u romanu Zlatarevo zlato Augusta Šenoe, u kojem piše o zagrebačkom zlataru Krupiću i njegovoj kćeri Dori, koji su živjeli u Kamenitoj ulici. U niši na zapadnom pročelju smješten je kip Zlatarevo zlato modernog kipara Ive Kerdića, koji predstavlja Doru Krupićevu i simbolički obilježava mjesto radnje ovog povijesnog romana.