贺若弼出生在将门之家，其父贺若敦为北周将领，以武猛而闻名。灭陈以后，贺若弼地位更加显贵，还经常以宰相自许，他的兄长贺若隆做武都郡公，弟弟贺若东为万荣郡公，并为刺史、列将。贺若弼家有珍玩不可胜数，婢妾都身穿绫罗绸缎，生活奢侈。