史料
張又曾不止一次地向漢王提出：“願棄人間多，欲從赤松子游耳。”
這表明張良早有離開朝政，靜居行氣，出遊山林的想法。
但是，在漢十年（甘元前197年）時，他又跟從劉邦率兵平叛陳豨，攻下了馬邑。漢十一年，為平息反叛，張良又帶病送劉邦至曲郵。並對劉邦說：“臣宜從，病甚”。言下之意也是要退政隱居。並提醒漢王：“楚人剽疾，願上無與楚人爭鋒。”要避敵之鋒芒，乃為周鏇戰事。這說明，在這段時間裡，張良僅有避谷之意，尚未真正隱退。
漢十二年（甘元195年）劉邦因擊黥，中流箭負重傷，四月病危中，呂后問劉邦：“陛下百歲後，蕭相國既死，誰令代之？”劉邦談到曹參、王陵、陳平、周勃等許多重臣的人事安排，但隻字未提張良。劉邦死後，呂后與審食其計謀：“暫不發喪”，欲藉機誅殺一批老臣宿將。酈商向審食其進言：“不能欲殺諸將”，也曾提到陳平、灌嬰、樊噲等人，仍未提及張良。這說明在這期間，張良己不在朝中了。
那么，張良是怎樣出朝的呢？有人說，呂后殺了韓信，烹了彭越，在朝廷大力培植呂家勢力之時，劉邦又欲易太子，呂后指使呂譯，強迫張良為呂家出謀劃策，張良婉言謝絕。呂后遂扣張良之子為人質。若張良不為呂家效力，呂后就要將他兒子殺掉。張良氣憤之極，不告而辭。劉邦得知後，曾親自率兵四處尋請張良回朝。這說明在呂后專權，大殺功臣宿將，並危及張良自身之安全時，張良便毅然離會，避谷山林了。那么，張良避谷在何處呢？
秦嶺繁柏山區，乃劉邦張良軍旅之地，張良在此隱居，大有可能。
當年，劉邦和韓信“明修棧道，暗度陳倉”，就是依張良的計謀：翻越秦嶺，奪下關中；又東出函谷關，一開漢楚爭雄之戰局。後來，軍事失利，劉邦又依張良之策略與項羽議和停戰，以鴻溝為界，互不侵犯。待和約簽定，越軍守約東歸之時，漢軍乘其不備，背約追擊。又令韓信、彭越兩位大將夾擊，項羽大敗而逃。後又在垓下一戰，致楚幾乎全軍覆沒。最終，項羽在烏江自刎。劉邦遂滅楚在漢，統一天下。當時劉邦、韓信從根據地——漢中出兵，所過之陳倉古道，就是從紫柏山之西側山腰，以及附近的閘口石、箭鋒埡、瓦房壩等地而過。傳說的張又避谷之處，就在箭鋒埡不遠處。
從以上不難看出，秦嶺南坡紫柏山一帶，是漢中盆地的北部屏障，攻取關中的軍事咽喉和前沿防線，乃兵家軍旅必爭之地。作為劉邦之謀士重臣的張良，對這一地區必然是了如指掌，十分諳熟的。這裡又是名山仙境，世外桃源。爾後，張良選此深山險峰避谷隱世，看來不無道理。
張良在紫柏山避谷，史料多有記述，民間更富傳說。
民間傳說
張又避谷後，劉邦曾親自率兵進山尋請。據傳，留壩縣城青羊河西南岸的原“漢王城”，就是劉邦尋找張良時修建的住地。後來，劉邦在紫柏山北坡的高橋好聽到張良的避谷處。終於在白雲封頂、霧靄沉沉的一條山澗絕壁處找到了張良。劉邦來到張良居處，便倒抽一口寒氣。只見一穴石洞，深邃幽靜，洞前瀕臨萬丈深谷，谷岸齊如刀仞。一條獨木橋橫跨其上。張良立於橋端洞口中，口稱“萬歲！請我主過橋來，有為臣保駕。”劉邦生畏，不敢過橋。要張良過橋相見。張良從命過橋，君臣禮罷，敘長問短。張良復請君王進洞相敘。劉邦上橋欲過，橋腐若斷，漢王慌忙卻步退回。張良領先從容邁步而過。劉邦夏又過橋，正欲舉步，獨木橋“嘎嘎”作響，朽木爛渣紛紛墜落。劉邦驚魂失魄，遙對張良曰：“愛卿，你己成仙矣！”張良忙下跪拜道：“臣在此謝封了！”忽聽“嚓卡”一聲巨響，獨木橋斷墜萬丈深淵。劉邦隔谷相望，帳然若失，率兵回歸。劉邦去後不久，又見張良追隨上來，陪送劉邦到白崖河下游的一座木橋。君臣在橋頭依依惜別。後人將這座橋稱做“送駕橋”。此橋名流傳至今尚未更名。張良在此避谷，以食山果竹米充飢。為表示自己永遠避谷之意，告別劉邦時，在橋頭曾撒下一大把竹米。據說，現今這裡的一叢翠竹即為當時竹米繁衍而來。
又據留侯祠《三清殿創建碑》載：“紫柏山麓有留侯廟，相傳為張文成公避谷處。公，運籌策決勝，激流勇退，如神龍出沒，以視沉溺功名，膏盲泉石者。”
《留壩縣誌》又云：“留侯塵心濃，未曾高臥登此峰。”也明確記載：張良在此避谷。
綜上所述，不論張良是否避谷紫柏山林，抑或其地其物是真是假，還是其山其地名因何而得，總之，後世之人廟址選擇在昔日漢王、留侯開創漢室的主要活動地——漢中境戶，並在風景如畫，吐納煙嵐的紫柏山麓，建廟設祠，亦可謂設計建造者之知情會意，匠心良苦。
