这年7月，阎锡山应邀进京面见黎元洪，回到住处，哈哈大笑着说：“黎元洪那个神气，望之不似人君，简直是个窝囊废。难怪辛亥革命时，他藏在床底下，人家把他拖出来，硬把个都督加在他头上，他还不敢干，深怕犯了灭门大罪呢！”他看不起黎元洪，这一次却差点遭了黎元洪暗算。次日晚，段琪瑞派一个亲信，把阎锡山请去密谈了很久。原来，孔庚、黄国梁被迫离开太原后，并不死心，再三鼓动黎元洪采取“调虎离山计”，把阎锡山调到北京，而后孔庚、黄国梁秘密回到太原，由黎元洪出面明令黄国梁为山西督军、孔庚为山西省长。阎锡山在北京，措手不及，鞭长莫及，到时候也只能认命，他的这个老窝就给端掉了。段琪瑞得到了这个消息，为拉拢地方实力派，以念师生之谊为由，迅速把消息透露给了阎锡山，并面授机宜：即日化装离开北京，间道转回太原。只要能先他们一步回到太原，控制局势，黎元洪就不敢动手。老谋深算的段琪瑞替阎锡山筹划一番，想得十分周到：叫他次日一早乘京汉路车离开北京，为避开耳目，不要在石家庄转车。南下直到河南新乡，换坐车到清化，翻过王屋山，然后从旱路赶回太原。
这消息，对阎锡山来说，无疑是一个晴天霹雳。轻而易举地挤走了黄国梁和孔庚，却又差点被他俩暗算。看不起黎元洪，却险入黎的陷阱。在对段琪瑞感激涕零的同时，也对黎元洪他们恼恨不已。阎锡山经历过几次突如其来的风险了，这一次就老练得多。经过考虑，他不肯照段琪瑞的计划，绕个大弯子，那样既费时间又多变数，决定还是坐京汉线的车到石家庄转太原。为了保密，他精心策划了一个“金蝉脱壳”之计，对部下交代说：“蒙想还是坐京汉车从石家庄转太原，比较迅速可靠。不过，蒙不能从车站上车，免得引起他们注意。”他吩咐部下用400块大洋买通火车司机和扬旗手，将火车开离站台到扬旗地方时，尽量开慢些，让他能够从那里神不知鬼不觉地顺利上车。而后又说：“只要蒙离开北京，就没有什么问题了。蒙走了以后，你们几个都不要出门。总统府派人来找，就推说蒙病了。他们要是派人来看望，你们就撒个谎，到哪家医院看病去了。总之是要想尽办法，把他们支吾过去。等接到蒙从太原来的电报以后，你们可以打个电话给总统府，就说‘阎督军已经回到山西了’。在电话里，要把话说硬一点，不要露出咱们山西人的软弱劲儿。”次日，阎锡山浑身商人打扮，穿一件夏布长衫，草帽的帽沿压到眉头，再戴上一副大墨晶眼镜，未经车站站台而从车站扬旗处神神密密地离开了北京。与当年仓皇逃离太原时相比，阎锡山此时已经镇定得多了。这一方面是他人生阅历的增长，对意外和惊险有了更大的承受力和对应力；另一方面，他在山西的基础已深，不是随便什么人可以任意动摇的。他敢于胸有成竹地与黎元洪玩这个乔装潜行的游戏，也显示出他的自信。
这次有惊无险的经历，使阎锡山格外感激段琪瑞，也更重视与段琪瑞的“师生”关系。从此后，在令人眼花缭乱的北洋军阀各派系混战中，他总是或明或暗地支持段琪瑞。他还多次向段琪瑞表示，愿以山西的武力作段的后盾。
1917年，第一次世界大战期间，以黎元洪为首的总统府和以段琪瑞为首的国务院，受其各自的后台的怂恿，围绕所谓“参战”问题展开了激烈的争斗。段琪瑞以对德参战为名，准备向日本大量借款，扩充武力，以实现其“武力统一”全国的图谋；美国为了与日本争夺对中国的控制权，则支持黎元洪联合直系军阀进行抵制，人称“府院之争”。在这场争权夺利的争斗中，阎锡山始终站在段琪瑞一边。阎锡山拥护段的“参战案”，在其案未获国会通过后，阎锡山马上通电要求解散国会。当段琪瑞被免去国务院总理之职，出走天津时，阎锡山又宣布山西“独立”，脱离北京中央政府。黎以总统身分下令将段免职后，段则在天津设立独立各省总参谋处，准备用武力将黎推翻。黎元洪召张勋入京调解，张勋就借调停府院之争为名，率“辫子军”进京，与康有为等人密谋后，演出了一场“复辟”闹剧。段琪瑞利用全国上下反复辟的情绪，组织“讨逆军”讨伐张勋。阎锡山立即响应，通电反对复辟，并派兵北上，声援和支持段琪瑞。段琪瑞再次控制中央大权之后，大力支持阎锡山扩编军队，壮大势力。山西的军队由原来的一个混成旅，扩充为四个。一下子增长了好几倍。
段琪瑞重掌中央大权之后，拒不恢复张勋复辟时废弃的《临时约法》和国会，并以参加世界大战为名，向日本借巨款出卖国家利权。孙中山先生视《临时约法》为民主共和的象征，不能容忍段的倒行逆施，以护法军政府大元帅的名义，宣布段琪瑞为民国的叛逆，出兵北伐，开始了“护法战争”。
北洋军队与护法军队的战斗打响后，主要战场集中到了湖南。段琪瑞四处调兵遣将，电令阎锡山派一混成旅入湘，支援北洋军镇压“护法运动”。阎锡山这时不再顾虑得罪孙中山的问题，也根本不曾虑及什么维护民主共和的民国法统，立即派商震率一个混成旅开往湖南。山西的军队远征几千里之外，也算是破天荒的大事。开始时，劲头十足，到湖南后也打了几个小胜仗，但由于局势变化太快，不久就成为一支陷入重围的孤军，在湘潭遭到伏击，全军覆没。晋军的这次远征，只是给山西人留下了两句打油诗：“大将南征胆气豪，交枪没有打收条。”而护法战争，也由于西南军阀关心的只是各自的实力与地盘，不久后就宣告停战。孙中山曾痛切地指出：“吾国之大患，莫大于武人之争雄，南与北如一丘之貉。”
阎锡山这次出兵，损失不小。率兵出征的商震等人还担心受到处罚，但阎锡山却表现得异常大度。不仅设宴给逃回来的部下“洗尘”，还轻描淡写地说：“这一次战事，事先蒙一点也不了解，累得你们吃了一场苦头。”不过，他不惜代价地一心追随段琪瑞，也换得了实惠。他逼走黄国梁后，已经把军权牢牢地掌在了自己手中，当然还想着得到政权。这么些年来，主管行政的长官的名称经历了民政长、巡检使到省长的变化，人也换了一茬又一茬，但他兼任民政权的梦想一直未能实现。因为主管民政的民政长官，需要由北京政府任命。袁世凯死后，接任总统的黎元洪给山西任命了省长。“府院之争”时，阎锡山认为时机已到，就把黎元洪任命的省长赶走了，自己以“护理”的名义，临时代理省长职务。但这总是“名不正言不顺”的事，即便是走形式，也还需要北洋政府有一个正式的任命。在追随段琪瑞讨伐张勋时，段就表示了让他兼任省长的意向。又经过一番紧锣密鼓的活动，到1917年9月3日，北洋政府任命他为山西省长的电令终于下来了。至此，阎锡山通过精心策划的阴谋，也通过“合法正当”的渠道，真正集山西军政大权于一身，时年34岁。
从29岁到34岁，人生途程中只不过短短的五年。历史在这五年中发生了巨大的变化。阎锡山从一个普通的武官，一跃而成为执掌山西大权的地方实力派，除了命运对他的照顾之外，他的谋略、才能、手段、风格，当然是不可忽视的主要因素。这期间，经历过几次巨大的艰险，坎坷的磨难，既使他的才能得以展现，也使他的才能得以提高。此后，随着位置不断上升，实力不断增强，他的眼光逐渐从山西扩张开去。
二、施展手段 乱中取利 入主“四·九”小朝廷
集山西军政大权于一身，有了山西这个根据地，经过多年苦心经营，实力日渐增强，野心就不断膨胀起来； 凭着善于韬晦，善于算计的本领，在形势不明朗时，与各方都拉关系；大势已定时，瞅准时机出手，频频获得厚利；参加第二次直奉战争，开始走出山西，加入逐鹿中原的行列，成为重要的地方实力派；联合直奉反冯，将势力范围扩大到绥远；参加北伐，联蒋讨奉，成为大胜家，势力扩大到晋、冀、绥、察四省和平、津；联冯反蒋，中原大战，谋略、诡计、智慧和卑劣，无所不用其极，表演淋漓尽致，势力和名望达到了巅峰；但也从此进入下坡路；
联冯拥段倒直，开始走出山西
阎锡山将山西军政大权独揽在手，当然欣然自得。与此相应，他的野心也就更大，把山西当作自己飞黄腾达的起点，已经不再满足于这一方小天地。站在太原看全国，清政府倒台后最有实力的袁世凯死掉了，暂时没有什么力量能够统一天下。如同中国历史上每次改朝换代时的状态一样，强力人物的死亡，也就意味着秩序的消失。国家也就陷入了群雄割据，竞先逐鹿的大混乱。军阀之间的混战，给人民带来无尽的灾难，也给那些有实力争地盘的军阀们带来了机遇。
阎锡山看到了这种机遇，常常感到自己治下的这个偏僻省份民穷力薄，认为增强实力才是最大问题。他提出了“保境安民”的口号，对外界的争斗采取“中立”，苦心经营山西，并凭借山西表里山河，易守难攻的优越地理条件，为自己的割据和发展打下坚实的基础。他大力扩编军队，将山西的兵力扩充到2万余人；在一片空白的基础上，发展起了山西的军火工业；并推行所谓“六政三事”，加强以村为基础的行政建设，发展经济，稳固了统治的基础。随着实力的渐渐增强，阎锡山开始把目光对向省外，谋划着走出山西。
第一次世界大战结束后，随着英、美与日本争夺中国的斗争的加剧，他们各自扶持的军阀势力的矛盾也就进一步激化。1920年7月，英、美扶持的曹锟、吴佩孚的直系向日本扶持的执掌北京政权的段琪瑞的皖系发动进攻，点燃了直皖战争的战火。出于对段琪瑞的“师生情谊”，加之阎锡山谋算有误，认为段的实力雄厚，吴佩孚不是对手，因此，曾准备出兵石家庄，与皖系呼应，断吴佩孚的后路。不料，开战不久，直系吴佩孚部突袭皖军司令部得手，奉系也协同直系作战，皖军受到两面夹击，迅速全线崩溃。段琪瑞宣布辞职，北京政权落入直、奉两系军阀手中。这时，山西军队已经开到娘子关，军队的调动赶不上政治形势的变化，阎锡山的处境异常尴尬。他急中生智，摇身一变，改头换面，顺风使船，赶快派人带50万元到保定对直系“劳军”。由讨伐摇身一变而成为慰劳，阎锡山的手段真如魔术般善变。此次失误，使阎锡山看到混战的形势真是瞬息万变，稍有不慎，就会陷入难逃的泥坑，因此，对介入各派争斗更加小心翼翼起来。
段琪瑞垮台，日本失去皖系军阀这个得力工具后，就加紧扶持另一个工具奉系军阀。因此，直、奉进入北京共同组阁不久，双方的矛盾就激化起来。由此引发了1922年的第一次直奉战争。直军大胜而奉军溃败，张作霖被撵出关外。直系军阀曹锟、吴佩孚暂时获得北洋政府大权。
直奉战争期间，阎锡山宣布山西严守中立，不允许任何军队开进山西或借道山西。奉行所谓“三不二要”：不入党派，不问外省事，不为个人权利用兵；要服从政府命令，要保卫地方治安。也就是说，不管谁执掌了中央政府权力，阎锡山都表示“服从”，避免成为排斥打击对象；与周围的关系，则主张“与邻省联络，使能不为我患，或竟邻疆乐与合作，进而为我用，代我御侮”。冯玉祥曾电请他出兵帮助直系，被他婉言拒绝。
直系执掌中央政权后，阎锡山表现出“服从”的驯顺。他对直系处处讨好，极力显示出关系密切的姿态。当吴佩孚鼓吹“法统重光”的高调时，他紧跟着通电赞成恢复旧国会；1923年10月，曹锟贿选总统时，山西还提供了50万元的贿选经费。亦步亦趋的小心，换来的却是直系图谋将山西纳入自己势力范围的一次次阴谋，这让阎锡山既头疼又恼火。他先是得到密报，说直系企图削夺其省长的职务；后来吴佩孚又多次施加压力，向山西狮子大开口索要军饷100万元，又索要子弹60万发，使阎锡山穷于应付而深怀忌恨。现实处境的逼迫和威胁告诉他，需要迅速改变以前闭关自守的策略，积极“拉朋友”以加强自己的地位。
美国大力支持直系军阀，先后卖给直系军队步枪万余支，机枪数百挺，并且帮助吴佩孚组织了飞机队。日本为了与英美势力争雄，也积极支持奉系军阀。有帝国主义势力在背后操纵，直奉双方的矛盾日益尖锐。1923年10月，直系头子曹锟以40万元的高价收买国会议长，以每张选票5000到10000元的价格收买议员，在军警的严密监视下，“当选”为大总统。这种卑劣行径，激起了全国各界的义愤。奉系利用四面八方反直的情绪，联络段琪瑞，联络广东以孙中山先生为首的革命派，结成“反直三角同盟”，与直系相对抗。张作霖还暗中联络直系的重要将领冯玉祥，准备里应外合，用武力将直系政府推倒。 此时，山西的阎锡山成为各方极力拉拢的对象。一方面，山西的实力已经为各方看重，另一方面，山西的重要地理位置，更是企图得到北京大权的势力不能不重视的。眼看着山西的身价越来越高，阎锡山认为这是走出山西的大好机会。但在阎锡山的账本中，计利的收入非常仔细而计亏的付出却总要略去。战争必然有胜有负，要能保障自己次次获利，就得保证自己永远站在得胜的一方。面对各方的游说和拉拢，经过精明算计，阎锡山看到局势并不明朗，哪家取胜尚难以预料，因而不能过早地将自己的命运系在任何一方身上。他召集心腹频频开会，一再强调，对付各方说客，必须统一口径：无论哪方的人来，都不能说太肯定的话。我不表示意见，你们也不能表示。
一时间，各方说客纷纷来到太原。吴佩孚的代表顾祥麟曾是阎锡山在日本士官学校时的同学，并在山西做过事，后因吸食鸦片为阎所恶，离开山西后投靠了吴佩孚。阎锡山让部下尽量和他拉紧一点，“叫他在吴佩孚面前给咱们多说几句好话”。并且特别说明，他爱抽大烟，就送他几斤好烟土。见面时，阎锡山表示：老袁死了，老段的力量也分散了，现在玉帅（吴佩孚）是天下一人，我不跟着玉帅走，还能跟着谁走呢？见到段琪瑞的代表张吉士，阎锡山表示：我能帮忙，一定帮老师的忙。有几分力量，一定帮几分。同张作霖的代表于国翰见了面，阎锡山满口答应说：我能帮忙的地方，一定帮忙。孙中山指派张继以私人名义，用同盟会的旧关系，给阎锡山等人写信，要求山西协助北伐，打倒直系。阎锡山亲自拟函回复，表示：孙先生此次参加北伐，革命同志无不欢欣，我们自当尽力相助。阎锡山这样在各派势力之间打太极拳的同时，又向各方派出自己的联络代表，以便进一步摸清各派实力，随时掌握情况，以寻求自己应变的最隹时机和方式。
1924年9月17日，张作霖进军山海关，打响了第二次直奉战争。这是一次大规模的军阀混战，双方投入的兵力达50多万。因为前线战斗激烈，直系屡屡告急，吴佩孚秘密率卫队到山海关督战，北京于是出现了后院起火的迹象。山西驻直方的联络代表台寿铭发回急电，称冯玉祥将要倒戈发动政变，请阎锡山务必注意。阎锡山连夜召集亲信开会，研究对策，以防止败兵向山西窜扰为名，决定加强娘子关的兵力。实际上，也就是作好了随时向外出兵的准备。
正当直奉两军在山海关附近激战时，冯玉祥由古北口秘密回师，于10月23日发动“北京政变”，占领北京城，囚禁了曹锟，迫使曹锟下令停战，免去吴佩孚的职务。冯玉祥将自己的部队改称“中华民国国民军”，邀请孙中山先生北上共商国事。而这时，奉系则主张请段琪瑞出山。阎锡山没有忘记段琪瑞对自己的恩情，很快致电冯玉祥，表示要推戴段琪瑞复出。
局势已经明朗，阎锡山便不肯再模棱两可，决定正式出兵，联奉拥段倒直。10月28日，阎锡山任命第二师师长孔繁尉为左翼总指挥，率三、四、五、七四个旅向石家庄进军。计划拦腰截断京汉路，阻止直系的援军从河南、湖北开往北京。这是山西军队首次以重兵开出娘子关，也标志着阎锡山从此正式加入了逐鹿中原的枭雄行列。晋军于11月1日便进据石家庄。
石家庄为兵家必争之地，直系在河南、湖北的军队还扬言要北上。石家庄面临着一场激烈的厮杀，阎锡山担心孔繁尉力不能胜，又派张培梅接任左翼总指挥。张培梅是阎锡山的学生，为阎锡山担任大都督出过大力，深得阎的信任。张本人性格刚直，敢做敢为，此次能到石家庄前线任总指挥，以为是大有作为大显身手的机会。虽然阎锡山反复交代，晋军此次出兵的目的，以虚张声势为主，使南边的直军望而生畏，不敢北上，能应付段琪瑞和张作霖就行了，万万不可损兵折将。如果损兵，虽胜不取。但张培梅还是想做出个样子来，让世人不敢小看，因此，在零下十多度的严寒中，亲率卫队露营野宿，并命令五旅、七旅二部也下车野宿，迅速修筑防御工事。不料，七旅旅长龚凤山行前曾得到阎锡山以保存实力为主的密令，而五旅旅长刘树藩又以为龚凤山是阎的亲信，处处看着他的作为行事，因此，二人认为张培梅是小题大作，自找苦吃，对张培梅的命令敷衍了事。张培梅因此十分恼怒，决定召开军事会议，严惩抗拒军令者。龚凤山和刘树藩又找借口只派参谋长出席，于是张培梅更加忿恨，触动杀机，命令将二人就地正法，并且枭首示众。辛亥革命后已经取消了杀头的刑法，随军没有刽子手，执刀者也没有经验，连续砍过几刀，才把人头砍下，把血肉模胡的人头挂在营门示众。这一下，把其它军官都吓得失魂落魄，再没人敢对张培梅的命令有一丝怠慢。
晋军两个旅长被砍头的消息传回太原，阎锡山十分惊骇，怒气冲冲地说：“鹤峰（张培梅的字）如此胡闹，擅杀团长，形成独立，石家庄人心恐惶，不能不即时出动镇压！”当即命令另一亲信杨爱源做好准备，要亲自出马问罪。幸亏号称晋军“诸葛”的南桂馨出面调停，劝阎锡山不要操之过急，又亲自到石家庄前线去观察动态，并劝张培梅自请处分，以释众疑，才将这场风波平息下去。
石家庄被晋军卡住，山东又宣告中立，津浦、京汉两路援军都无法接应，直系大势已去。11月2日，曹锟辞去大总统，吴佩孚接着也宣布下野，第二次直奉战争以直系失败告终。阎锡山这次走出山西伸手中原，顺利地成为胜家，顿感自己说话腰杆儿硬了起来。他积极推戴段琪瑞再次执政，以便自己在中央政府有个大靠山，于是联络西北军阀马福祥等人，抬高自己的身价，俨然以西北各省的首领自居，与奉系张作霖南北呼应，为段琪瑞出山鼓噪呐喊。
1924年11月24日，张作霖和冯玉祥在北京宣告成立“中华民国临时执政府”，推出段琪瑞就任“临时执政”。眼看实现了自己的心愿，阎锡山很是满意。但段琪瑞虽然名为“执政”，却因实力不足而腰杆不直，说话不灵，事事处处需仰人鼻息。段琪瑞便施展手段，让冯、张互相牵制，并企图借阎锡山之力，联络西北各省军阀，形成第三势力。阎锡山积极配合，也知道这是自己出头的机会，但他明白，在军阀混战时期，弱肉强食，大鱼吃小鱼，最重要的是加强自己的实力。他对部下说：“咱们要赶紧充实力量。自己力量不够，哪一方胜利了，也没有咱们的好处。”于是，趁着得胜的时机，山西再次抓紧时间扩军。兵力增加一倍，达到了4万人的规模。阎锡山踌躇满志地表示，不仅要“保境安民”，而且要在逐鹿中原的混战中“唯力是视”。
在掌得中央政府的实权之后，冯玉祥的国民军势力迅速膨胀。北京，察哈尔，绥远，河北，河南，陕西等省都成为势力范围，山西被包围在中间成为孤岛。形势很快又变得对阎锡山甚为不利。曾受阎锡山排挤而被迫离开山西的反阎派续桐溪，这时就积极筹划进行倒阎活动。续桐溪是辛亥革命时期晋北公团的领袖人物，对辛亥革命在山西的胜利，作出过不小贡献。民国之后，续在山西警察道任职，与阎锡山交往相当密切。后因对阎锡山投靠袁世凯十分不满，多次当面予以讥讽，阎锡山将其视为异己。有一次，军警与商绅闹起冲突，阎趁机派人煽惑将事态闹大，背地里支持商绅请愿，声言要到北京告状，要求将续罢免。续并不示弱，就找到阎锡山大闹一场，将阎的阴谋活动当场揭穿，闹得阎恼羞成怒，准备派人将续逮捕，以军警冲突为借口将续杀掉。幸亏有人给续透露了消息，续得以逃走。因此，与阎锡山结下了难解的仇恨。续桐溪此时已担任国民军的总参议，他拟定了先行夺取山西，巩固豫、晋、陕三省，然后再竭全力对付奉军的计划。联络河南军阀樊钟秀，出兵攻打山西。在国民军第三军任参谋长的山西人徐永昌把续的计划秘密报告了阎锡山，使晋军及早做好了准备，因而，樊钟秀的进攻草草收场，无功而返。经历过这一次反暗算的小战斗，阎锡山对老乡徐永昌心存感激，对冯玉祥的势力则多了几分警觉和仇恨，为他此后参加反冯联盟埋下了种子。
联直奉反冯 势力扩大到绥远
1925年冬，奉系以4个军团的重兵向冯玉祥部发起大规模进攻，吴佩孚则派兵由津浦路北上与之呼应。奉军将领郭松龄因不满张作霖而与冯联合，率所部占领山海关，并将部队改编为东北国民军。东北革命军的倒戈，将奉军推入了困境。张作霖只好调动主力回军东北，在日军的支援下，才灭掉了这一心腹大患。冯玉祥于是趁机尽占关内地盘，并独享了北京政府权力。张作霖气急败坏，转而对数月之前还恨之入骨的吴佩孚大唱赞歌，表示“只要扑灭反复无常叛主卖友之冯玉祥，其它无所企求”，恳求吴佩孚迅速北上。
这种形势下，阎锡山表面上两不得罪，圆滑应付。当国民军从北京退出时，他允许其眷属由山西过境；但另一方面，他又与吴佩孚相互勾结，阻隔国民军河南与直隶间的联络，使国民军所占的地盘处于直、奉、晋三方面的分割包围之中。各方竭力拉拢山西，而阎锡山在大局不明朗之际，又以他特有的策略，进行着多面敷衍外交。各方代表走马灯一般来到太原，利用种种关系，想方设法与阎锡山见面，力陈与自己联合的好处。冯玉祥的代表张吉士说：张作霖因为内部倒戈，已经元气大伤，只能在关外苟延残喘，再无力来中原逞强。吴佩孚的精锐部队已在上次战争中损失殆尽，现在拼凑起来的杂牌军队，战斗力自然难比当年。而国民军占有华北平津，尤其是察哈尔、绥远一带，与山西是唇齿相依的形势，山西与国民军合作最为妥当。阎锡山敷衍一番，哼哼哈哈，含胡其辞地点头；吴佩孚的代表顾祥麟极力替吴大帅吹嘘：玉帅原本就实力很强，经过这些日子在湖北大力整顿，现在的实力胜过从前。对冯玉祥的倒戈，一直耿耿于怀，要与东北的张雨亭携手，对冯大张挞伐，希望山西能够站在玉帅一边。阎锡山表态说：冯军不但是玉帅的敌人，也是山西的敌人。玉帅如果发动义师，我们力量虽然有限，也理当竭力协助。奉系代表于国翰则透露，不但中国人对冯玉祥痛恨，连日本人也怕冯一旦成功，中国会全部“赤化”，因此愿意帮助雨帅消灭冯的势力。这次，雨帅决心和吴大帅合作，打倒冯玉祥。如果咱们三方合作，就可以胜券在握了。阎锡山回答说：雨帅和玉帅在中原会师的时候，我们一定追随。
阎锡山十分清楚山西的处境。他看到山西有被国民军包围并瓜分的危机，自己的力量尚不足以抗争。张作霖连年征战实力也已大不如前，此时又受内部兵变的困扰，没有力量援助山西。解围的希望，就寄托在吴佩孚北上。但第二次直奉战争中自己出兵石家庄，曾得罪于直系；而当下要保持与冯玉祥在面子上的联合，又不便于大张旗鼓地与吴佩孚来往。思来想去，他决定派一个资历浅而不为世人注意的小人物，前往吴佩孚处联络。这个小人物就是《晋阳日报》的主编梁航标。梁航标到汉口见到吴佩孚后，先是转达了阎锡山表示悔过的自责之词，恳求吴大帅不念旧恶，共图大局，并保证在直系军队北上之时，山西军队可东出太行，南攻陇海，击溃国民军的二、三军，然后与吴大帅合力围攻国民一军。阎锡山的悔过、恳求和建议，正合吴佩孚之意，于是也就一拍即合。
1926年的春天，张作霖，吴佩孚，阎锡山合力反冯的战争就拉开了序幕。直系军队从湖北北上，攻击国民二军；晋军出太行，出娘子关，攻击国民三军；奉军迅速入关，威胁和攻击国民一军。三方联合，对冯玉祥形成了大包围的态势。冯玉祥见形势逼人，为避免国民军遭受三方的联合打击，就通电辞职，国民军退出北京，军队由部下张之江、鹿钟麟指挥，自己则出国赴苏联考察去了。冯玉祥虽然下野，联合反冯的攻势并未因此停顿，4月6日，三方下达了总攻击令，倒冯战争于是全面铺开。
4月中旬后，国民军退出北京，东路军抵挡奉、直军队的进攻，西路军则在山西北部与晋军交了火。开始阶段，晋军溃败，损失惨重，使阎锡山很是紧张。他把军队撤到雁门关一线，心急火燎地请吴佩孚支援。同时就准备自己的后退之路，让部下在京津为自己购买房屋。
此时，形势却又发生了变化。国、共两党合作组建的广东革命政府，在苏联的大力支持和资助下，决定北伐。直系在湖南的地盘首当其冲，吴佩孚得知这个消息，无心再在华北作战，准备回师南下，保卫自己的老窝。张作霖大吃一惊，生怕因直系退出，不仅难以解决冯军的问题，自己反会孤立无援，受到攻击。因此，他忙与吴佩孚商定要限期击败国民军。奉军立即增调骑兵上前线，猛攻多伦多，威胁张家口，并要阎锡山配合，兵出雁门关，截断国民军向西北的退路。在直、奉联军的猛攻之下，国民军东路军失掉了多伦多和南口等战略要地；西路军在山西北部与晋军多次激战，消耗大量兵力，也未能攻下形势险要的雁门关。国民军被迫败退西北，此后就被称为西北军。
西北军的溃败，给晋军造成了可趁之机。阎锡山瞅准时机，乘国民军撤退之际，派兵向绥远方向追击，大获其利。国民一军的陈希圣、韩复榘、石友三的队伍，先后被迫投降。阎锡山一下子增加了三个师的军队，将势力范围扩张到了绥远，占领了包头。这次讨冯，阎锡山再次获得厚利，把自己的势力范围扩张到了绥远，于是宣布把晋军改编为晋绥军。
在直、奉、阎联合讨伐冯玉祥期间，广东革命政府的北伐也在积极准备之中。冯玉祥宣布下野之后，赴苏联考察。在苏期间，与苏联领导人会见，并与中共驻共产国际代表接触，对革命有了进一步的认识。因此，9月回国，就响应广东革命政府的北伐，率西北军在内蒙五原誓师。在誓词中明确宣布：“现在我所努力的，是遵奉中山先生的遗嘱，进行国民革命，实行三民主义。”兵败后归附晋绥的陈希圣、韩复榘、石友三的部队与冯玉祥旧情不断，得到消息，都悄悄开赴五原与冯玉祥会师。这三个师归附之后，阎锡山给他们补发了欠饷，换发了服装，还补充了弹药。一夜之间，他们突然开拔，都又回到冯玉祥的怀抱。事前既无任何风声，事中也无什么周折。这使阎锡山非常惊异，也十分恼怒。但他却没有大发雷霆，也没有怪罪部下，反而做了个顺水人情，给冯玉祥拍发一个电报，表示：你的队伍经我代管了几个月，现在你回国来了，他们自应还归你指挥，等等。吃亏换个人情，也许就给自己多留了一条路，阎锡山的算盘，打得总是很精细的。
趁热打铁，阎锡山着手进行第三次扩军。自任“晋绥军”总司令，将步兵扩编为17个师。后来，收编徐永昌的国民军第三军之后，又将师扩充为军，共编了8个步兵军，另组成8个炮兵团，兵力突破10万，达到了13万人。
联蒋讨奉 占据京津
北伐的胜利进军，直系的土崩瓦解，给各路军阀敲响了丧钟，迫使他们聚集起来商讨对策。11月，张作霖慌忙在天津召开会议，拼凑所谓“安国军”，企图与北伐军对抗。“安国军”由张作霖任总司令，阎锡山为副总司令之一。阎锡山在表面上拥护张作霖，还派出自己的代表参与“安国军”的事务，却迟迟不肯就任副总司令一职。他经过仔细的盘算，觉得北洋军阀已经走向穷途末路，难以依靠；张作霖的力量也未必能够抵挡锋芒锐利的北伐军。前程难测，决不能死心眼地吊在一棵树上。因此在应付张作霖的同时，又走出了左右逢源的棋子。这时，广州革命政府派代表到太原，与阎联系，希望作为同盟会老前辈，阎锡山能派人到武汉商讨参加北伐事宜。阎派出老同盟会员赵丕廉前往，行前，阎再三叮嘱：“秘密未揭开前，由你负责；揭开以后，是蒙的事。”原来，此时的阎锡山还有一段隐忧。他从日本进口一批枪械，三个月后才能运回山西，之前不能有所举动。否则，枪械就可能让奉军掠去。赵在武汉与北伐军会面之后，又赴南昌拜见了北伐军总司令蒋介石，转达了山西方面对北伐军的欢迎和期盼之情。蒋介石对阎锡山做出这样的表态表示满意，认为阎锡山是同盟会的老前辈，又是丈夫团的人，盼望他能及早举事。阎锡山听到这个消息，感到这次试探收获重大，北伐军不仅没有将自己当作打倒的对象，而且还把自己当作革命力量，自然也很高兴。于是把张作霖的任命弃在一旁，随即指示赵向蒋介石允诺，晋绥军可以在1927年的5月5日出兵。广东革命政府对阎的明朗坚决的表态非常欢迎，由国民党元老谭延凯提请，广东国民政府授予阎锡山北方国民革命军总司令之职，对他在北方响应和配合北伐军寄予很大的希望。
一边是“安国军”副总司令，一边是北方国民革命军总司令，阎锡山在两边都挂着钩，观望形势而来回掂量。这时，阎锡山盘算的是，北伐军虽然节节胜利，但离山西还是太远。奉军仍盘踞着京津地区，强大的实力分布在京汉线和京绥线一带，自己如果表态太早，反倒会惹怒张作霖，招来大祸。因此，他也没有立即就任北方革命军总司令一职，并且，还派出代表在北京与奉系继续维持关系。
形势不断发生着出人意料的变化。4月12日，蒋介石发动政变，向中国共产党和革命群众举起了屠刀，并建立南京国民政府，与汪精卫的武汉革命政府对立，史称“宁汉分流”。阎锡山看到蒋介石在北伐军中有着强大的势力，特别是他以国父孙中山的传人自居，以后会是中国政局中举足轻重的人物。而此时，北伐军已在向河南开进，冯玉祥的西北军也已向着东边逼来，再拖延下去不表明态度，山西就会成为北伐军的攻击目标。于是，6月，阎锡山赶忙宣誓正式就任北方革命军总司令，并且在山西改悬青天白日旗，公开了联蒋反奉的立场。
旗帜是打出来了，但阎锡山继续以保存自己实力为核心，玩弄脚踏两只船的把戏。他盘算：北伐军尚在豫南，而奉军在郑州以北的京汉沿线驻有重兵，如果自己动作失当，还是有招来攻击的危险。因此，他不仅不积极出兵协助北伐军，相反却派代表前往济南等地与奉方的部队拉关系，设法减轻奉军对山西的压力。张作霖对他易帜联蒋极为不满，曾派人到太原，警告他悬崖勒马，必须立即取消青天白日旗，否则就会有战争发生。阎锡山狡辩说，虽然改挂了青天白日旗，但也并不意味着与张作霖决裂。一面应付，一同却也做好了配合北伐军攻击奉军的准备，将部队沿太行山分几路秘密出击。
这种复杂心理和举措，阎锡山曾在“就革命军北方总司令”的宣言中表白说：山西所处环境至为恶劣，“环绕吾人之左右者，日夜思颠之覆之，欲置吾人于死地。为保留河北以北微弱的革命势力，与三民主义之障碍者虚与委蛇，十四载于兹矣。设使孤军转战，其必败无疑也。”在为自己首鼠两端、朝秦暮楚辩解的同时，也确实道出了为客观原因所迫无奈的一面。
此后的几个月内，又发生了一系列重大事变。
7月15日，汪精卫在武汉也叛变革命，向工农群众开枪，与蒋介石又合流走到了一起。国民党向中国共产党举起屠刀，以“清党”的名义，驱逐和杀害共产党人。阎锡山在反共问题上，一直是态度明朗的。他声称：“共产党挑拨阶级斗争，国民党绝对不可仿效”，并主张“今日的清党，清其人，尤须清其法”。他在山西积极支持和追随蒋介石的清党运动，与当时的国民党山西省党部狼狈为奸，驱逐和杀害共产党人。他在山西成立所谓“自新院”，对政治犯进行感化训化，也算得上是一个发明。而且，他还看到了共产党发动组织的“农民协会”的巨大潜在力量，特别予以反对。他说：“最可注意的是农民协会。工人罢工，铺伙迫掌柜，弊病虽大，范围尚小，操纵较易，尚可转头。若农民协会分散在乡村，范围既大，无论如何组织，无法操纵。即使操纵有术，亦必为共产党所利用。”
但是，中国共产党人并没有被血腥的镇压吓倒。共产党高举革命旗帜，先后组织“八一”南昌起义，9月9日秋收起义，10月11日广州起义等，中国共产党领导下的革命队伍作为一支独立的武装力量，出现在历史舞台上，加入了决定中国命运的拼搏之中，与蒋介石反动势力展开了殊死战斗。
10月1日，阎锡山正式誓师讨奉，派出四路大军：右路军攻取石家庄，而后沿京汉路两侧进击，左路军沿京绥路两侧进击，还有一路则向北京的南北两侧展开袭击，前敌警卫团则由五台县进入河北，袭击奉军侧翼，与正面部队相策应。这是山西军队第一次大规模的军事部署，阎锡山亲临石家庄前线督战。
初期，进展迅速，捷报频传。左右路军都攻城掠地，大跨步推进，傅作义部于10月13日占领了重镇涿州。
这时，奉军组织了强硬的反攻。左路军遭遇两面夹攻，全线动摇，被迫向娘子关撤退；右路军遭到重创，损失惨重，退至大同，又退守雁门关。左、右两路形势逆转，大部队后撤，傅作义部进占的涿州便成为一座四面被围的孤城。奉军得势之后，调集号称30万大军，由张学良等统率，分两路向娘子关、雁门关发起猛烈进攻。晋军凭借易守难攻的地势，利用山西兵工厂制造的爆炸威力强大的短火器，顶住了奉军的一轮又一轮攻击，使奉军的猛攻无法奏效。奉军在山西境内无法取胜，便在河北全力攻击被围的涿州城。奉军一开始看不起防守涿州的傅作义，然而一再增兵，轮番攻击，却总是拿不下来。此事让张作霖甚为恼怒，令张学良亲自指挥，集中精锐兵力攻城。奉军炮弹倾泻如雨，涿州城墙倒塌，四面被撕开了口子，但麻袋堆积而成的新防线立即挡在了奉军面前，奉军始终无法突破晋军的防线。奉军改用挖地道的方法，企图从地下炸毁晋军的防守工事，傅作义识破了他们的计谋，便用在内侧挖坑埋瓮的方法，察听出挖地道的方位，针锋相对予以破坏。晋军在涿州城内挖成了四通八达的交通壕，处处是掩体，步步有防守，建起了强大有效的防御工事，使奉军徒唤奈何。晋军在涿州城内防守了三个月之久，弹尽粮绝，士兵以老鼠、麻雀为食，身体浮肿，极为惨痛。傅作义电请阎锡山派兵支援，阎锡山复电说：“尽军人最后之天职。”不肯派兵前往。傅作义无法，只好与奉军作了有条件的妥协，结束了涿州攻防战，部队被奉军改编，自己被张学良软禁在保定。但这一战却打出了晋绥军的威名，使傅作义成为人们赞誉和崇敬的守城名将。
正当阎锡山誓师讨奉的时候，蒋介石和汪精卫闹了一场“分流”又“合流”的勾心斗角把戏。蒋介石于1927年8月假意下野，跑到日本躲了些日子，于1927年11月10日从日本回到上海。原来不少国民党人看到蒋介石走后无人能够解决国民党内部的分裂混乱局面，纷纷电请蒋介石回国复职，出面收拾混乱的残局。蒋介石在这次访问日本时办成了两件大事，一是征得宋太夫人同意他与宋美龄的婚事，二是得到了日本方面对北伐的理解和支持。
蒋介石发动“四一二”政变一个重要的原因，就是争取英美日各国的政治支持和经济援助。当时在中国如果没有外国政治和经济的援助，是不可能掌握政权的。蒋介石一旦离开苏联的援助，就必须寻找新的援助国，蒋介石把眼光转向英美日等资本主义国家。由于孙中山先生力行“联俄联共扶助工农”的政策，国民党和苏联的关系太深，而且没有苏联的大力支持，北伐战争也不可能进行。有资料显示，苏联对国民党政府提供了高达数百万美元（当时价格）的军事援助。当时的中国极其贫穷，各个军阀并没有多少钱购买军火，而资本主义国家的军火商，决不会象苏联那样提供无偿的军事装备，所以苏联的援助使北伐军的装备大大高于各个军阀的部队。比如大军阀之一张宗昌的部队，有三分之一的人没有枪，连军服也长年不更新，士兵们一个个蓬头垢面，还有很多人连鞋都没有。在这样的情况下，如果只是平和地表示与共产党分手，未必能消除英美日等国对国民党反共之诚意的疑虑。所以蒋介石一不作二不休，用共产党人的鲜血来换取西方列强的信任。果然西方各国对蒋介石的坚决反共大加赞赏，开始在政治上支持蒋介石，这也是蒋介石后来能够在国民党的多次内斗中取胜的一个重要原因。
在蒋介石离去的这一段时间，北伐军迟迟不进，使阎锡山和冯玉祥部都在奉军的攻击面前感到吃力，阎、冯二人都期望蒋介石能尽快复职，便联名请蒋介石回国，主持“北伐”战事。阎还另给蒋致电，表示“公留党在，公去党危，个人之去留事小，党国之存亡事大”，拥戴之情，跃然于纸。蒋介石利用这个机会，从日本回到上海，并派人到山西与阎锡山联络，直言不讳地告诉阎：北伐军之所以前进缓慢，让奉军得以逞强，主要原因是军令不一。应该建议政府委派一人负北伐的军事总责，才能统筹兼顾，行动迅速。阎锡山心领神会，于是在12月11日，与冯玉祥联名致电南京中央党部和国民政府，愿意拥戴蒋介石为国民革命军统帅，愿意接受统帅的指挥。同时，又联名给蒋介石发了一封电报，表示“所望我兄东山再起，主持军政”，“弟等当负弩前驱，愿听指挥”。 有了这一番铺垫，蒋介石理直气壮地返回南京，复任国民革命军总司令。打出“继续北伐”的旗帜。不过此时的北伐，已经与原来的北伐有了天地之差。“四·一二”反革命政变之后，原来支持各路军阀的西方帝国主义国家都转而支持蒋介石。蒋以北伐之名，主持改编军队，成立了四个集团军：第一集团军由蒋兼任总司令；第二集团军由冯玉祥任总司令；第三集团军由阎锡山任总司令；第四集团军由李宗仁任总司令。1928年3月，各集团军出兵讨奉。阎锡山的第三集团军沿京绥线及京汉线以西地区前进，直攻京、津。
有了各路大军的相互配合，晋绥军北上、东进都很顺利。一路上攻下石家庄、保定、张家口等重镇，形成左、右两路对北京夹攻之势。奉系军阀原本就是日本人一手扶植起来的，随着其势力的不断扩大，与日本势力在东北的扩张发生尖锐的矛盾。加上英美势力向东北的渗透，奉日之间的矛盾日益激化。张作霖没有满足日本修建铁路和自由出借东北土地等要求，反而引进英美资金，修建铁路和港口，这就引起日本的极大不满。在各路大军围攻下，张作霖见大势已去，于6月4日乘火车返回东北时，被日本人埋设的炸药炸死在皇姑屯。奉军失去统帅，陷入自身难顾的混乱状态，京、津已经失去了防守。6月8日，阎锡山的队伍顺利开进北京。阎锡山占据北京的行动，先前已经得到了蒋介石的默许和支持。蒋当时认为阎锡山没有“倒戈”的劣迹，把京、津交给他比较放心。因此，蒋亲自出马，先是在河南与冯玉祥会晤商量，又到河北石家庄与阎锡山见面。此时，冯玉祥的部队已经有九个集团军之多，仅嫡系就有40万，在为蒋介石打天下的“北伐”中出力甚大。因为自己在西北一隅，没有个出海口，购买军火极为不便，因此，早有染指天津的打算。蒋介石采取“以阎制冯”的策略，使他很不满意。碍于正在进行的讨奉大局，他只好忍气吞声表示同意。冯与蒋的矛盾在这里深深地扎下了根。
阎锡山进占北京的同时，就派亲信南桂馨偷偷跑到天津，与日本驻天津的军队秘密勾结，取得了日本人的支持；又通过与当时驻扎在天津附近的直鲁军张宗昌部谈判，给了张宗昌不少好处，也取得了张的同意。于是，6月12日，在日军的支持下，晋绥军又顺利接收了天津。蒋介石到达北京后，决定将北京改为北平，委任阎锡山兼任平津卫戍总司令。