四樂軒的建造者劉士傑，字貽豪，排行老七，為最小的弟弟。年幼時，貽豪嗣於閩侯的姑母為子，姑母曾許諾要送他去讀書。幾年之後，16歲的長兄貽浚中了秀才，照習俗要到姑母家“拜教”。當長兄乘轎往姑母家時，路遇面黃肌瘦的放牛娃，正是自己的七弟。長兄拜見姑母，見姑母家一貧如洗，便留下銀兩，領著弟弟隨轎回到家中，他表示六個兄長一人節省一口飯，也不讓七弟餓著。
乾隆十二年（1747年），貽豪中了貢生。七個兄弟各自成家立業時，貽豪與守寡的六嫂合建新厝，這便是現存四樂軒的第四落。新房竣工之日，有閩清知縣、貽豪的好友前來祝賀，夸房子的風水好，必出高貴人才，並在知縣的協調下，購地擴建另外一落，其後代和兄弟叔侄合建中間兩落和左右橫厝，完成四樂軒的宏大規模。曾有童謠比喻，四樂軒是鳥兒不能一口氣飛越的大建築群。
四樂軒的建築特點為四落直進，七柱八扇風火牆構成主體。依主軸線左右對稱，中間是正廳，左右官房各兩直，三官房與風火牆間隔1.2米通道，稱火牆弄。正廳前面是大天井，天井左右書院各三間，中間是書院廳，兩旁是書房，書院後有小天井為花圃。官房後廊隔2米溝道建廚房，左右各三間。二落與三落之間有一條4.5米的橫街，通達左右橫厝，風火牆旁邊左右各有一條二米寬的直街與水溝，直通四落，與橫街成"艹"形。各落正厝風火牆下設拱形邊門四個，通往直街。直街外每座都建橫厝數列，上下橫厝以厚一米，高十二米的風火牆隔開，以防火患。左右橫厝照傳統，背靠火牆外建築。外橫厝則取相反方向，面朝橫厝起建，形成圍繞正厝為中心的整體建築。厝的東西南北各建一座炮樓，樓窗窄小設有槍眼，以防匪盜。厝後門近圍牆處，左右各植古樟樹一株，胸圍五米，高十八米，狀如華蓋，與厝同齡。二落左直街處古井一口，泉水清冽，足夠全厝住房生活用水。四落正厝各設大門、屏間門、後廳門13個，大門一線垂直，重門洞開，廣院大廳，綿延深遠，宏偉壯觀。整座屋宇豐嚴謹，蠣牆瓦屋，鱗次櫛比，形成一個龐大的建築群。古時候，每逢兵荒馬亂，鄰近的鄉親為了避匪亂和抓壯丁，常常躲宿其中。
