石遵在得知石虎死讯的时候，已经行至河内，正欲入关。
突闻噩耗，石遵继而拥兵不前，带着三万禁军止步于河内，同时向车骑大将军符洪、征西大将军姚弋仲、征虏将军石闵、安西将军刘宁等人去信，邀他们前来与自己共商国事。
此时，关中残余叛乱皆以平定，各军奉石虎之命，已然班师，由潼关东出。
得知石虎驾崩，张豺专权，又得石遵号召，众将纷纷前往河内听命。
石遵于河内李城（今河南温县）会见诸将。
早在来时，众人已经合计，这世上，以定策之功为最，如今石世母子偏信张豺，他们若是俯首听命，必将为张豺所驱使。
倒不如拥立石遵继位，杀回邺城，共享富贵。
因而，众人刚一相见，苻洪、姚弋仲、石闵这些将来的仇敌，就迫不及待的进言道：
“殿下是国中长君，又德才兼备，先帝曾有意以殿下继承大统。
“然而先帝年老智昏，被张豺等人所欺误，以幼主传国。
“古语有云，牝鸡司晨，其家必败，何况社稷。
“如今女主当政，奸臣弄权，与司空李农僵持于广宗，京师守卫空虚。
“殿下若能公诸张豺之罪，以清君侧为名，击鼓进军，各地守臣必将大开城门，以迎殿下，如此，可成不世之功！”
石遵暗自欣喜，他召集诸将前来，就是想要与他们同举大事，如今众人劝说他挥师东进，石遵又怎会拒绝，当即派遣亲信前往长安，接管关中。
而他自己则亲率苻洪、姚弋仲、石闵、刘宁等一众将领，杀奔邺城而去。
起兵之初，石遵把大将石闵唤到跟前，勉励道：
“我膝下无子，你好生努力，若能成功，我以你为太子。”
石闵本姓冉，其家为魏郡豪强，早年间，石勒攻破乞活军，俘获年仅十二岁的冉良，命石虎收冉良为养子，改名石瞻。
而石瞻正是石闵之父，换而言之，石闵便是石虎的养孙。
石闵自小展露不凡，深受石虎的宠爱，将他与其余孙儿一同抚养，成年后，石闵骁勇善战，勇冠三军，虽是汉人出身，亦为胡人所钦佩。
石遵只是为石闵画了一个大饼，没想到石闵却当了真，并将在未来引出一场祸事。
实际上，正如先前所言，石遵麾下诸将并不和睦，石闵就曾进言石虎，认为苻洪才智出众，其子如苻健、苻雄等人，皆是有才之士，苻氏在邺城周边，有部曲五万，应当及早除之。
但石虎却想驱使苻洪进攻成汉与东晋，因而并没有听从石闵的建言，反而厚待符氏一门。
可世上没有不透风的墙，石闵与苻洪的梁子就此结下。
如今之所以能够并力向东，不过是贪图定策之功，暂时抛下仇怨罢了。
与此同时，得知石遵挥师驱往邺城，张豺大惊失色，又听闻镇守洛阳的洛州刺史刘国等人纷纷归附石遵，更是惶恐不安，当即召还正在围困李农的邺城将士。
五月十一日，石遵率军九万，进抵河内荡阴（今河南汤阴）。
又以石闵为先锋，领军攻打邺城，张豺闻讯，急令邺城守军出城抵御。
然而后赵本就是羯族政权，而张豺并非羯人，不能服众，羯兵将士不愿为其死战，而张豺与李农的恶劣关系，也使得李农麾下的数万乞活军不可能向他施以援手。
邺城守军之中，一种说法甚嚣尘上，认为彭城王石遵是来为父奔丧，怎可阻止，众人应该出城相迎，而不是协助张豺守城。
因而，邺城守军大量逃往，张豺连杀数十人，依旧不能阻止。
事情发展到这一步，就连刘太后也慌了神，她急忙召来张豺，哭诉道：
“如今先帝尚未入土，石遵就要束甲相攻，天子年幼，我是一个妇人，只能仰仗将军您了，我如果给石遵加封官职，能否安抚住他？”
张豺情急之下，也拿不出一个主意，只得唯唯称是。
刘太后当即下诏，一股脑地赐予官职，拜石遵为丞相、大都督、大司马、督中外诸军事、录尚书事、赐黄钺、加九锡、许其入朝不趋、赞拜不名、剑履上殿，又为石遵增封十郡作为食邑。
基本上，除了皇帝之位，刘氏将能给的全数扔给了石遵。
但自古以来，清君侧本就是一条不能回头的路。
况且，刘太后虽然出手阔绰，但石遵想要做的，却是皇帝。
五月十四日，石遵领兵抵达邺城外的安阳亭（今河北临漳县西南），张豺惶恐，眼见城中守军散尽，只得出城相迎。
“下官张豺，奉太后之命，前来拜见殿下。”
张豺颤抖着声音，俯首拜道。
马背上的石遵却根本就不领情，他冷哼道：
“我此番兴兵犯阙，就是为了清君侧，斩杀奸佞，如今你张豺来得正好，省得我再去搜捕你。”
当即，在张豺的惊恐求饶声中，命左右将他拿下。
刘太后听说张豺被捕，更是惶恐。
翌日，即五月十五日，石遵由凤阳门进入邺城，在石虎棺前捶胸哭泣，以缅怀亡父之灵，随即下令夷灭张豺三族。
同时，石遵又命人假称刘太后诏令，认为天子石世年幼，不足以堪当大任，之所以被立为太子，只是先帝的私情所致，然而江山社稷，至关重要，当立长君，应该废黜石世，改立石遵为帝。
刘太后万万想不到，自己曾经三次矫诏，如今全被石遵给学了去，可此时的她，已成石遵阶下之囚，亦如当初的石斌，即使满腔愤慨，亦难以宣泄。
石遵面对自己授意的诏书，假装推辞，经过三辞三让，在群臣的劝谏下，五月十六日，石遵终于勉为其难的即皇帝位，大赦天下，改封石世为谯王，食邑一万户，刘太后为太妃。
石虎于四月二十三日病逝，石遵于五月十六日在邺城即位，期间仅仅相隔二十余日，不等各方势力作出反应，似乎后赵的内乱已经平息。