ബിസി മൂന്നാമത്തെയും രണ്ടാമത്തെയും നൂറ്റാണ്ടുകളിൽ ഒരു മണൽക്കല്ലിൽ നിന്ന് ഖനനം ചെയ്യപ്പെട്ട ഉദയഗിരി (സൺറൈസ് ഹിൽ) ഗുഹകൾ കലിംഗ സാമ്രാജ്യത്തിലെ സംസ്ഥാന മതമായിരുന്ന കാലത്ത് പുരോഹിതരുടെയും സന്യാസിമാരുടെയും വാസസ്ഥലങ്ങളായിരുന്നു.
ഈ ഗുഹകൾ പുരോഹിതന്മാർക്കും സന്യാസിമാർക്കും വർഷങ്ങളോളം കാത്തിരിക്കാൻ സുരക്ഷിതമായ ഒരു സ്ഥലം നൽകി.