ୟୁରୋପୀୟ ନାବିକମାନେ, ଯେଉଁମାନଙ୍କ ପାଇଁ ଏହି ମନ୍ଦିରଟି ମହତ୍ୱପୂର୍ଣ୍ଣ ଥିଲା, ସେମାନେ ଓଡ଼ିଶା ଉପକୂଳର ବିପଦପୂର୍ଣ୍ଣ ଅଗଭୀରୁ ନିଜକୁ ଦୂରେଇ ରଖିବା ପାଇଁ ଏହାକୁ କଳା ପାଗୋଡା ନାମରେ ପରିଚିତ କରାଇଥିଲେ।
ମନ୍ଦିରଟି କଳା ହୋଇଥିବାରୁ ଏହାକୁ କଳା ପାଗୋଡା କୁହାଯାଉଥିଲା।