過去，關於張世傑屍骸埋葬何處，各種史料記述不一，眾說紛紜。《崖山志》記載，“張（世傑）之墓在香山潮居里（即今斗門縣）。”《香山縣誌》也載，“太傅葬於陽江赤坎或斗門赤坎。”而明朝香山名士黃經卻寫有“陽江不見潮居里，此地真存太傅墳”的詩句，說陽江縣的赤坎村沒有潮居里。據考察古稱斗門赤坎村一帶半漁農，村為潮居里，故有雲張世傑墓葬於陽江潮居里赤坎村，實屬誤傳。為了查證這一史實，《斗門縣誌》編寫組人員，於1987年10月14日清晨，登上黃楊山考察意外發現了張世傑的墳墓。張太傅墓臥山面海，墓地面積676平方米，四周荊棘叢生，芳草萋萋，山上“松濤猶似擁千軍”。墓冢用石灰、青磚、沙灰砌成，墓沿用沙灰塑成龍騰鳳舞的圖案，儼如將軍盔帽。墓正中立著一塊1.96米高的青石墓碑，鐫刻“宋太傅樞密副使越國張公諱世傑之墓”，墓前設一塊無字的長方石墓桌，左右相對豎立兩條2.7米高的石柱，上刻一聯云：“雲山空望侍郎宅，海水猶朝永福陵”。當年香山縣令張汝霖修復張世傑墓時，曾籌集銀兩置田39畝作為張世傑墓嘗田，交由里人張沛昌等人管理，每年將田租收入辦理春秋兩次祭拜。
據史籍記載，張世傑乃宋代范陽（今河南涿縣）人，因抗元有功，升都統制。臨安失守後，他與文天祥等立趙昰（端宗）為帝。張世傑任樞密副使，在江西、福建等地聯合少數民族，堅持抗元。宋祥興元年，被加封為太傅趙國公。越二年四月，宋端客死大嶼山，衛王帝昺繼位，六月遷至崖山（今新會縣）。張世傑、陸秀夫奉帝昺駐崖山的訊息，被元將張弘范(其父張柔為金國人,後降了蒙古)得知，率水軍南下追擊，張世傑、陸秀夫等愛國將領為挽救民族危亡，英勇揮軍作戰。他們集結站船千餘艘，互相連線，構築水寨，保主抗敵。由於戰略上的錯誤，至被元軍占領全部海口，宋軍“樵汲道絕，兵茹乾糧十餘日”，但軍民奮力抵抗，元軍久攻不下，張弘范帶被俘的文天祥來崖門，令其勸降，文天祥正氣凜然，堅決拒絕，寫下了《過零丁洋》詩作回答，表明自己寧死不屈的態度。
1279年二月初六清晨，張弘范率元軍猛然進擊，南北夾攻，在崖門水面上展開一場血戰，最後宋軍兵盡矢窮，大勢已去。丞相陸秀夫“度不得出走，乃先驅其妻子入海”，然後背著年僅9歲的帝昺及國璽投海殉國，這就是歷史上有名的“崖門失璽”，南宋遂亡。張世傑則率餘部（戰船十餘艘）突圍往西，準備重整旗鼓再戰，突圍中因遇暴風，墜海死於海陵港（屬陽江縣）。
張世傑溺死後的翌晨，屍體漂流到黃楊山水湄（今斗門縣）附近。傳說浮屍覆滿小鳥，天上行雷閃電，故有“天護忠魂，逆水流屍”的故事。後來，有宋軍避難山中，見而葬之。據《香山縣誌》載：“諸軍棺斂焚屍島上，傑（張世傑）膽大如斗，更焚不化，諸軍號慟。”正是：“黃楊山下將軍冢，夜夜悲風起石麟。”
世傑忠魂系黃楊
古墓巋然赤坎村，千秋張馬竟訛言。
山川自獲忠臣骨，風雨時還壯士魂。
膽似子龍焚不化，元歸先軫色猶溫。
傳聞金甲雲中事，碑石今猶念淚痕。
