मंदिर से जुड़ी पौराणक कथाओं के अनुसार कैलाश का अपभ्रंश कैला नाम का एक गांव था, जहां चरवाहे गायों को चराने के लिए एक टीले पर ले जाया करते थे। उसी टीले पर एक विशेष स्थान था जहां पहुंचते ही गायों के थनों से स्वतः दूध टपकने लगता था।