黃帝為什麼會選擇這個洞作為居住的行宮呢？這裡有一個動人的故事。
相傳五千多年以前，除神州大地有古人類活動以外，在北非古埃及、衣索比亞及歐洲古羅馬一帶也早有人類活動，這些古人類及其酋長、首領們也象現代人一樣，在不斷開拓領地，並尋求與其它部落發生聯繫。黃帝，號軒轅，又稱有熊氏，乃小典之子，其兄是同父異母的炎帝（神農氏）。當黃帝尚處幼年時，古埃及大酋長穆哈默德帶了一隻雄獅，跋涉萬里，來到中原，作為禮品，贈送給黃帝。黃帝十分喜愛這隻來自異域的猛獸，拿出各種各樣的東西給它吃，並一遍遍地撫摸雄獅的頭鬃，說也奇怪，這隻平日十分兇猛的巨獅與黃帝似乎有緣，一到黃帝身邊後就變得十分溫順，它與黃帝朝夕相處，形影不離，一直伴隨著黃帝長大，成為黃帝最親密的夥伴，黃帝給它取了個名字，叫諦聽。
公元前三千年，黃帝與炎帝為了爭奪領地，兄弟相殘，發生了戰爭，雙方交戰十分激烈。在一次戰鬥中，在前沿衝鋒陷陣的黃帝，腿部中箭不慎跌下馬來，敵方的兵將見此紛紛舉著各種兵器圍了上來，企圖擒殺黃帝，情況十分危急。正當此緊要關頭，諦聽一反平時溫順的形象。低聲咆哮起來，只見它整個頭鬃豎起，四下只鋒利的腳爪張開，猛撲前去，又吼又咬，與敵軍撕打起來。結果敵軍被衝散，黃帝因此獲救，而諦聽卻在搏鬥中被敵方的石斧、石矛刺砍成重傷，流血過多，不幸戰死了。
諦聽死後，黃帝十分悲痛，一段時間曾經到了神思恍惚的地步。後來，在妻子嫘祖的瑞三勸說下，心情才慢慢平息下來，但諦聽卻在黃帝心中留下了刻骨銘心、永遠難以忘懷的印象。
後來黃帝尋求銅器來到永康一帶，曾一度四處尋找駐蹕的行宮，他和內眷們到過金華山，到過永康方岩五峰下的山洞，也到過橋下太平川的小崆峒，均感不滿意。一天，黃帝來到石城山，抬頭一看，只見諦聽就伏臥在面前，黃帝揉揉眼睛，再仔細一看，原來是一座山峰，形象與諦聽十分相似，而且下巴下就是一個石洞。黃帝大喜，心想，此乃上天將諦聽賜還於我也，於是，當即決定以此石洞作為自己的行宮，黃帝洞就是這樣形成的。
據說，這一形似諦聽的岩峰及山洞確是天帝所賜。諦聽陣亡，其魂升天后，亦十分懷念黃帝，多次奏請天帝，要求返回人間，相伴黃帝。按照天庭的庭規，猛獸魂魄升天后是不能返回人間的，黃帝為了安撫諦聽，採取了一個折衷的辦法，一是命大力神作法，在石城山變出一座形似諦聽的岩峰岩洞，供黃帝作行宮，使黃帝與諦聽能再度朝夕相處；二是封諦聽為獸王，令其赴地藏王府服務。西遊記中對諦聽曾有這樣一段介紹：諦聽是地藏王菩薩案下一個獸名，他若伏在地下，一霎時，可將四大部洲山川社稷，洞天福地之間，贏蟲鱗蟲元蟲羽蟲昆蟲天仙地仙神仙人仙鬼仙顧鑒善惡，察聽賢愚……可見，黃帝洞的來歷是傳之有據的。
