及高祖初被顧托，群情未一，乃引賁置於左右。高祖將之東第，百官皆不知所去。高祖潛令賁部伍仗衛，因召公卿而謂曰：“欲求富貴者，當相隨來。”往往偶語，欲有去就。賁嚴兵而至，眾莫敢動。出崇陽門，至東宮，門者拒不內。賁諭之，不去，�目叱之，門者遂卻。既而高祖得入。賁恆典宿衛，後承問，進說曰：“周曆已盡，天人之望，實歸明公，願早應天順民也。天與不取，反受其咎。”高祖甚然之。及受禪，命賁清宮，因典宿衛。賁於是奏改周代旗幟，更為嘉名。其青龍、騶虞、朱雀、玄武、千秋、萬歲之旗，皆賁所創也。尋拜散騎常侍，兼太子左庶子、左領軍、右將軍。
時高�、蘇威共掌朝政，賁甚不平之。柱國劉�時被疏忌，賁因諷�及上柱國元諧、李詢、華州刺史張賓等，謀黜�、威，五人相與輔政。又以晉王上之愛子，謀行廢立。復私謂皇太子曰：“賁將數謁殿下，恐為上所譴，願察區區之心。”謀泄，上窮治其事。�等委罪於賓、賁，公卿奏二人坐當死。上以龍潛之舊，不忍加誅，並除名為民。賓未幾卒。
歲余，賁復爵位，檢校太常卿。賁以古樂宮懸七八，損益不同，歷代通儒，議無定準，於是上表曰：“殷人以上，通用五音，周武克殷，得鶉火、天駟之應，其音用七。漢興，加應鐘，故十六枚而在一�。鄭玄注《周禮》，二八十六為�。此則七八之義，其來遠矣。然世有沿革，用舍不同，至周武帝，復改懸七，以林鐘為宮。夫樂者，治之本也，故移風易俗，莫善於樂，是以吳札觀而辯興亡。然則樂也者，所以動天地，感鬼神，情發於聲，治亂斯應。周武以林鐘為宮，蓋將亡之徵也。且林鐘之管，即黃鐘下生之義。黃鐘，君也，而生於臣，明為皇家九五之應。又陰者臣也，而居君位，更顯國家登極之祥。斯實冥數相符，非關人事。伏惟陛下握圖御宇，道邁前王，功成作樂，煥乎曩策。臣聞五帝不相沿樂，三王不相襲禮，此蓋隨時改制，而不失雅正者也。”上竟從之，即改七懸八，以黃鐘為宮。詔賁與儀同楊慶和刪定周、齊音律。
未幾，拜郢州刺史，尋轉虢州刺史。後遷懷州刺史，決沁水東注，名曰利民渠，又派入溫縣，名曰溫潤渠，以溉舄鹵，民賴其利。後數年，轉齊州刺史。民飢，穀米踴貴，閉人糶而自糶之。坐是除名為民。
後從幸洛陽，上從容謂賁曰：“我始為大司馬時，卿以布腹心於我。及總百揆，頻繁左右，與卿足為恩舊。卿若無過者，位與高�齊。坐與凶人交構，由是廢黜。言念疇昔之恩，復當牧伯之位，何乃不思報效，以至於此！吾不忍殺卿，是屈法申私耳。”賁俯伏陳謝，詔複本官。後數日，對詔失旨，又自敘功績，有怨言。上大怒，顧謂群臣曰：“吾將與賁一州，觀此不可復用。”後皇太子為其言曰：“此輩並有佐命之功，雖性行輕險，誠不可棄。”上曰：“我抑屈之，全其命也。微劉�、鄭譯及賁、柳裘、皇甫績等，則我不至此。然此等皆反覆子也。當周宣帝時，以無賴得幸，及帝大漸，顏之儀等請以宗王輔政，此輩行詐，顧命於我。我將為治，又欲亂之。故�謀大逆於前，譯為巫蠱於後。如賁之徒，皆不滿志。任之則不遜，致之則怨，自難信也，非我棄之。眾人見此，或有竊議，謂我薄於功臣，斯不然矣。”蘇威進曰：“漢光武欲全功臣，皆以列侯奉朝請。至尊仁育，復用此道以安之。”上曰：“然。”遂廢於家，是歲卒，年五十四。
