棋山寺雖有曾經的輝煌，但終究離不開成、住、壞、空的成壞規律，自明朝後期，倭寇橫行於東南沿海，寺院深受其害，毀於兵火之中。及至清初又有僧人於此間結茅而居，大闡宗風。遂復建禪院，但已無舊時規模，在此其間，曾任中華民國司法籌備處處長、內務部司長、參政院參政、國會議員、安徽巡按使、安徽省省長等職務的李兆珍(1846～1927年)為本寺留下碑文，現今還保存著。繼而辛亥革命爆發，戰事頻仍，寺院再罹患難。公元1956年守備部隊駐紮於此，並重建30多間做為營區使用，今殿後仍存有營房十多間。
直至1996年四月廿八日才正式以書面協定恢復寺院，作為僧人的修行用地，2000年在廣大信眾的支持下修建了大雄寶殿,大雄寶殿總面積400平方米，面闊20米，深20米，前帶露台，獨具風格。2002年慈祥法師接管棋山寺後，不但健全了棋山寺的僧人規約，還進行大規模的擴建。2005年，先後修建了天王殿、僧寮、五觀堂、念佛堂，碑廊以及寺院的整體圍牆等建築。
修復後的棋山寺占地面積26400平方米，建築面積3970平方米。整座寺院沿山勢自然上升，層次分明。中軸線上由南至北依次有山門、天王殿、大雄寶殿，大雄寶殿西側有僧寮，再後還有五觀堂、念佛堂。主體突出，巍峨壯觀，寺院四面密林相圍，漫步其間，讓人有種說不出的美感，這種感覺只有在這種清淨幽遠的環境下才能體會。
天王殿總面積320平方米，寬18米，深14米，在天王殿內供奉著天冠彌勒菩薩、護法韋馱龍天菩薩以及六米多高的四大天王像，這些塑像都是修建時塑造，造型莊嚴，雕刻精緻，有極高的藝術性與民族性。
為考慮安僧以供修學須要，於2005年建了一座三層重樓偉閣的僧寮，僧寮占地總面積為640平方米，長40米，寬16米，巍峨壯麗，氣勢恢宏。同年，還建了五觀堂供僧人用餐之處所，五觀堂樓上設有總面積430平方米的念佛堂（正在建設中）。在天王殿西側有長40米的碑廊，刻錄那些為本寺捐助的信徒留下永久的名字，稱此為“功德碑”。
棋山寺，曾經戰火屠夷，在天哭摧毀之後，乃屢毀屢建，顯示了頑強的生命力。則在中華民族傳統文化的基石上，取古神似，創造出古今交融，超越時空的現代建築藝術，使長樂佛教寺院“清幽中見繁榮，莊嚴中具華麗”而聞名遐爾。近年來，棋山寺以音聲做佛事，發揚中國大乘佛教懺法思想，自利利他，為佛教為眾生作出應有的貢獻。
