तीसरी और दूसरी शताब्दी ईसा पूर्व में बलुआ पत्थर की पहाड़ी से खुदाई की गई, उदयगिरि (सनराइज हिल) गुफाएं पुजारियों और भिक्षुओं के लिए निवास थीं जब कलिंग राज्य में जैन धर्म राज्य धर्म था।
गुफाओं ने पुजारियों और भिक्षुओं को वर्षों तक प्रतीक्षा करने के लिए एक सुरक्षित स्थान प्रदान किया ताकि वे फिर से प्रमुख बन सकें।