兀良合台的父亲是蒙古帝国名将开国88功臣速不台，长子阿术，蒙元重要将领之一。少年时期就开始担当太祖成吉思汗的亲卫怯薛军。因其祖、父是功臣世家，特恩受监护太祖皇孙蒙哥，后成为蒙哥大汗的怯薛长，一直掌管宪宗蒙哥潜邸宿卫。