岳家军主要是跟随岳飞从中原到南方的钱留守司的将士，以及牛皋、董先等支持宋廷的起义军将士。在岳飞后来北伐的过程中，还收编了包括杨么、梁兴、李宝等在内的农民军，最后经过反复的扩充和改编，就有了举世闻名的岳家军。