张苍在反秦战争时期,以宾客的身份跟随沛公攻打南阳。楚汉战争时期,张苍先后担任过常山郡守、代相、赵相等。汉定天下后,又跟随高祖平叛燕王臧荼的谋反。他早年在荀子门下学习,与李斯、韩非等师出同门。他本来就非常喜欢读书,在秦朝时担任柱下史和御史,掌管宫中的各种文书档案,使他得以遍览群书,精进学问。