Legenda zapisana 1704. kaže da je Raka Milošević, veliki komornik despota Jovana Brankovića, krajem 15. veka na ovom mestu ubio jelena. Jelen je bio simbol monaške čistote, pa se Raka zavetovao da će greh iskupiti gradnjom crkve na mestu gde je životinja pala. Predanje navodi 1498. godinu, a manastir i selo dobili su ime po njemu.
Prvi zapisi
Prava istorija počinje osmanskim poreskim popisima iz 1545–1546., u kojima se navode manastir i porez koji je plaćao. U crkvi su sačuvani fragmenti fresaka iz prve polovine 16. veka. Tokom 17. veka manastir je više puta oštećivan i napuštan, i svaki put obnavljan.
Manastir prepisivača
Početkom 18. veka u Rakovcu je radio živ prepisivački skriptorijum. Ovde je 1700. jeromonah Pahomije napravio novi prepis Dušanovog zakonika, zakonika srednjovekovne srpske države. Godine 1714. monah Maksim završio je Rakovački srbljak, bogoslužbenu knjigu sa službama srpskim svetim vladarima, koju je priredio iguman Teofan.
Barokno zlatno doba
Osamnaesti vek bio je najbolje doba manastira. Mitropolit Vićentije Jovanović platio je visoki barokni zvonik (1735). Vasa Ostojić je naslikao ikone ikonostasa (1763), Amvrosije Janković oslikao je trpezariju (1768), a konaci su 1771. dobili konačan oblik sa tri krila. Toliko budućih episkopa se ovde zamonašilo ili živelo da je Rakovac nazvan „dvorskim manastirom“. Vidi Ljudi.
Rat i razaranje
U Prvom svetskom ratu manastir je opljačkan. U Drugom, pošto je u njemu otkrivena partizanska štamparija, crkva i zvonik su 1943. minirani i porušeni, a dragocenosti odnete u Zagreb. Staro selo oko manastira je spaljeno.
Obnova
Crkva je većim delom obnovljena tokom devedesetih, a 2003. je, zahvaljujući donacijama, počela obnova konaka. Manastir je 1990. proglašen spomenikom kulture od izuzetnog značaja. Od 1990. do 2020. njime je upravljala igumanija Gavrila Bedov.
Sedam hiljada godina na jednom mestu: neolitsko naselje, rimska vila, srednjovekovna benediktinska opatija koja je postala tvrđava, a danas arheološko nalazište na ivici Rakovca.
Spomen-obeležje kod manastira na mestu gde su meštani i radnici kamenoloma 1941. položili partizansku zakletvu, sa imenima palih boraca i civilnih žrtava.