称为铁军的第10师和第12师共有５个团。第10师，师长陈铭枢，副师长蒋光鼐，政治部主任徐名鸿（共产党员）。辖28团，团长蔡廷锴；29团，团长范汉杰；30团，团长戴戟。第12师，师长张发奎，副师长朱晖日，政治部主任廖乾五。辖35团，团长缪培南；36团，团长黄琪翔（还有34团，团长许志锐，当时留守琼州，北伐军攻下武昌后，该团归还第12师建制）。叶挺独立团归12师指挥。
独立团是中国共产党直接掌握的一支武装，其前身是陆海军大元帅府大本营铁甲车队。它是由苏联顾问向孙中山建议建立的。在筹建中由中共两广区委军事部选派徐成章、周士第、廖乾五、赵自选、曹汝谦等共产党员去工作。1925年11月，以铁甲车队全部并从黄埔军校抽调部分人员为骨干，组成为34团，以后改称独立团。该团连以上干部大部分是共产党员，班排长也有一些是共产党员，团成立了共产党支部，支部成员又是团的主要指挥官和部队中若干军官，党的方针政策可以直接贯彻。1926年5月，独立团即作为北伐先遣队，开赴湖南前线。在从肇庆出发途经广州时，周恩来曾亲作动员，要独立团在北伐战争中起先锋和模范作用。独立团在向湖南、湖北进军中，真正起了这种作用。过去有一种说法，似乎铁军就是指独立团，这是不正确的，但独立团的确是铁军的拳头。
（二）铁军之名
铁军，意谓有战斗力的军队，它冠之于第4军，是因为它在北伐战争中有辉煌战绩。
北伐战争初期，以蒋介石为总司令的国民革命军分三路向两湖、江西、福建进军。第4军在两湖战场作战，这是当时北伐的主攻方向和主要战场。这里有第4、6、7、8军以及第1军一部，而以第4军打得最好。1926年5月，第4军独立团首先进入湖南。途中接唐生智告急电，叶挺未待后续部队到来，即于6月2日进到湖南安仁县城，应援在敌重兵攻击下开始溃退的第8军第29团。经两三天苦战打垮谢文炳独立旅4个团和赣军2个团，解安仁方面唐军之危，并粉碎了敌人占领湘南的企图。初战告捷，开北伐胜利的先声，使第4军主力及其它部队进入湘南后迅速展开，一举突破渌水防线，打败数倍反扑之敌，攻占醴陵，其它各部，齐头并进，敌人全线败退。北伐军攻占长沙。8月，4军又攻打平江，突破敌人汨罗江防线。在湖北境内，第4军攻破号称天险的武汉南面门户汀泗桥、贺胜桥，打败了吴佩孚亲自指挥的敌军主力，奠定了北伐战争胜利的基础。8月31日至10月10日，第4军各部队又参加围攻武昌的战斗，此役俘获守敌湖北督军陈家谟、守城总司令刘玉春以下万余人，完全打败了最大的北洋军阀吴佩孚。武昌克复，第4军又以主力进至江西，击败军阀孙传芳主力一部于赣北之马回岭，截断南昌至九江敌主要后方联络线，利于右翼军之攻下南昌。至此，第4军半年时间，奔驰数千里，转战于湘鄂赣三省，经历了7个重要战役，其战绩之辉煌，为诸军之冠。1926年11月下旬，第4军从赣北凯旋武汉，各界联电致贺。1927年1月15日，武汉粤侨联欢社把在汉阳兵工厂特制的一面铁盾赠给第4军。这面铁盾下面铸有“铁军”二字，上款写着“国民革命军第四军全体同志伟鉴”，铁盾背面有一首四言题辞，全文是：“烈士之血，主义之花，四军伟绩，威振迩遐。能守纪律，能毋怠夸，能爱百姓，能救国家。催锋陷阵，如铁之坚，革命担负，如铁之肩。功用若铁，人民倚焉，愿寿如铁，垂亿万年。”此题辞概括了铁军之名的来历和含义。
铁军，最先是群众叫起来的。1927年初《四军周报》第8期上有一篇题为《听副军长训话后的感想》的文章，其中有一段话说：“国民政府委员蒋作宾同志在朱师长叶副师长就职那天说：‘第四军是铁军，完全是民众说出来的，民众已十分认识第四军是他们的军队’。”至于铁军之名兴起的时间，大约在1926年9、10月间。1926年9月30日《广州民国日报》发表的《第四军前方破敌志要》中提到，第4军“自克平江之后，即兼程追敌，奋不顾身，故汀泗桥与贺胜桥，独奏奇功，将吴贼精锐，全数扫灭，铁军之号，遂洋溢于湘鄂间。”从这则报道中可以看出武昌城未攻克之前，第4军就已被湘鄂人民称为铁军了。而铁军之名见诸于报端被广为传颂，则是在9、10月间。据查，1926年9月15日、30日和10月7日、9日的《广州民国日报》，都有报道介绍铁军。看来，铁军之名是四军在湘鄂之间行动中传扬开的。
（三）两次整编与一次高中级军官调整
铁军自北伐以来，有过两次较大的整编和一次高、中级军官的调整。
第一次是1927年1月。北伐军攻克武汉之后，武汉政府将原来的2个师，扩编成2个军。第4军名义保留，仍以李济深为军长，留守广州，副军长陈可钰因病离职赴上海就医，由张发奎升任副军长，廖乾五为政治部主任。指挥前方的第12、25两个师。第12师师长黄琪翔，副师长廖培南，下辖34团，团长许志锐；35团，团长马少屏；36团，团长李汉魂。第25师师长朱晖日，副师长叶挺，下辖73团（独立团改编），团长周士第；74团，团长张弛；75团，团长开始由叶挺兼，后为李江。另由第4军分出一部扩编为第11军，由陈铭枢任军长兼武汉卫戍司令，徐名鸿任政治部主任，辖第10、24师及由归顺国民革命军的黔军杨其昌部改编之第26师。第10师师长蒋光鼐，副师长范汉杰，辖28团，团长黄质胜；29团，团长张世德；30团，团长范孟声。第24师师长戴戟，副师长蔡廷锴，政治部主任陈兴霖，辖70团，团长古勋铭；71团，团长毛维寿；72团，团长许继慎。第26师师长杨其昌，副师长吴仲禧，辖76团，团长沈久成；77团；78团。
在整编后两个多月，铁军高级军官发生分化，随即进行组织上调整，这次调整有鲜明的政治背景。北伐军攻下南昌后，曾经为北伐战争作出贡献的蒋介石开始了军事独裁，反对工农运动，并企图将由广州赴武汉的部分国民政府委员和国民党中央委员抑留南昌，以军队控制党和政府。3月底北伐军占领南京、上海，蒋介石和帝国主义、买办资产阶级和封建军阀勾结愈益紧密，变本加厉地进行反革命分裂活动。
武汉国民政府在国民党左派和共产党员合作下发起了“党权活动”，反对蒋介石的个人独裁。武汉及两湖党政军群，纷纷卷入了这一汹涌澎湃的洪流中，铁军官兵也是如此，但其中一些偏右的高级军官却离开武汉，跑到南京蒋介石那边去了。第11军军长陈铭枢、第10师师长蒋光鼐、第24师师长戴戟，还有一些团长都离队而去。
在这种情况下，武汉政府就对铁军的高中级军官，进行了一次调整。张发奎升任第4军军长，黄琪翔升任副军长。第11军军长由张发奎兼。第10师师长由蔡廷锴升任，下有28、29、30团；第24师师长以叶挺升任，下辖70团，以左派古勋铭为团长，71团以刘明复为团长，72团仍以许继慎为团长；第26师编制未变，新编77团以蒋先云为团长。这次高中级军官的调整，不少共产党员和左派掌握了指挥权，对促进铁军的团结统一有很大意义。由于陈、蒋、戴等政治上孤立，擅自离职，所以调整得很顺利。
1927年4月，奉系军阀部队由张学良率领进入河南，沿京汉铁路南下，威胁武汉政府，武汉政府举行讨奉战争，以唐生智为总指挥，进军河南。第4军和第11军组成第1纵队（贺龙率领之独立第15师亦列入第一纵队序列），在张发奎指挥下，协同其它部队，北进讨奉。叶挺留武汉担任卫戍司令，所部第70、71团随军北伐。在河南战场上，除第4军、第11军外，还有唐生智的第8军、第35军、第36军等，打得最好的还是第4军和第11军。当时，这两个军都叫铁军。5月中旬，在上蔡之东、西洪桥与奉军前锋赵恩臻之第11军大战，以3天苦战将其全部击溃。追至逍遥镇，前锋独立第15师又击败奉军为掩护上蔡败退而进行局部反击的部队。张学良率主力增援，进到临颖，构筑工事并收容溃兵再战。第1纵队乘胜于28日攻打临颖，从东、南两面进攻，前赴后继，奋勇冲杀，不一日，将奉军全部击败，克复临颖，但铁军伤亡很大，特别是新编的第26师76团损失一半，团长沈久成负伤。77团损失五分之四，团长蒋先云牺牲。此役击溃了奉军主力，铁军又立下了辉煌战功。第二天，张发奎、徐名鸿、吴仲禧集合26师（含71团）部队讲话，张对所部在上蔡、临颖打得英勇，表示钦佩，还特别指出：“这一仗证明第26师也是铁军！”同时对蒋先云的牺牲致痛惜之意。6月，4、11军凯旋回武汉，市民热烈欢迎，墙上贴有“铁军钢矣！”的赞美标语。
第二次整编是1927年6、7月间，北伐军于6月初打下开封、郑州，张发奎部回师武汉。不久，成立第2方面军，由张发奎任总指挥，郭沫若任副党代表、谢膺白任参谋长，吴仲禧为副官长，辖第4、11、20军（由贺龙独立第15师扩编而成）。第4军军长黄琪翔，参谋长叶剑英，政治部主任廖乾五，辖第12师，师长缪培南；第21师，师长富双英（这个师原为奉军的1个旅，河南大战时奉军主力溃退，该旅困守上蔡，被第25师包围，后投归国民革命军，武汉整编时，编为21师）。第25师师长李汉魂，73团团长周士第，74团团长黄世途，75团团长李江。第11军军长朱晖日，政治部主任徐名鸿，辖第10师，师长蔡廷锴；第24师，师长叶挺，参谋长徐光英，政治部主任陈兴霖，70团团长古勋铭，71团团长欧震，72团团长史书元（许继慎打夏斗寅时负伤，由史代团长）；第26师师长许志锐，76团团长沈久成，77团团长胡公冕（共产党员）。第20军军长贺龙，政治部主任周逸群。辖第1师，师长贺锦斋，党代表方维夏；第2师，师长秦光远；第3师，师长周逸群（这个师刚组建，只辖1个团，团长为党员傅维钰）。另有一教导团，团长当时为共产党员侯镜如。
这两次整编，使铁军得到大的扩大。主要是当时革命形势正处在发展时期。两湖地区在北伐军到来之前，就有相当好的群众工作基础，尤其是工人运动。铁军的声名，更能吸引广大工农参军。安源和水口山的革命组织，又有计划地送青年工人去参军，如原北京军区参谋长、国防科工委副主任唐延杰及不久前去世的北京军区副司令韩伟等，都是那时参军的。铁军出发时，官兵多属广东籍，到了两湖，除大量补充减员外，还扩大建制。有些团队，几乎全是两湖籍。他们有相当高的觉悟，一到铁军就和老兵结合起来，很快熔成铁了。如72、76、77团等都是在二期北伐前不久成立的，一上战场，就和老队伍一样，临颖大捷后，立即得到全军的好评，也得到张发奎的赞许。可见在革命熔炉中，光荣的革命事迹和优良的战斗作风感召力之大。后来的红军，也是老兵带新兵，老铁军带出新铁军来。这就是继承与发扬革命光荣传统的结果。
（四）铁军三分
正当北伐战争达到高潮的时候，国民革命军阵营内部发生