拔掉了西河这颗钉子，扫清了南下西进的第一道障碍，该是乘虚进兵关中，夺取长安，号令天下，向着建立新王朝的目标挺进的时侯了。为此，李渊在下一步行动之前，开始组建和完善自己的政治、军事组织。
李渊父子进军长安图
向西挺进取长安，出师不利李渊首先建置大将军府，自任大将军。大将军府下辖三军：李建成为陇西公，左领军大都督，统率左三军；李世民为敦煌公，右领军大都督，统率右三军；李元吉为太原郡守，留守晋阳府。裴寂为长史，执掌军中所有文书；刘文静为军司马，执掌军务；唐俭、温大雅及其弟温大有为记室，同掌机密；武士濩为铠曹；刘政会、崔善为、张道源为户曹；姜暮为司功参军；长孙顺德、刘弘基、窦踪、王长谐、姜宝谊分别为左右统军、副统军。
在完善军政组织的同时，李渊还效法李密当年的做法，在太原大开粮仓，赈济贫民，以收拢人心。四近百姓欢欣异常，踊跃应募从军，数月之内，又增兵员三万余。
大业十三年七月，李渊亲率十万大军，誓师出征。太原百姓夹道相送，祈祷上苍庇佑，让唐公出师大捷，早定天下。
李渊
西取长安的进军路线是，沿汾河东岸南下，直捣潼关，然后再由渣关取道西进。而横互于进军途中的第二道大障碍便是霍邑。霍邑北临沿水，东依霍山，形势十分险要。
此时守卫霍邑的，是以骁勇著称的隋朝虎牙郎将宋老生，部下拥有两万之众。同时，又有左武侯将军屈突通率三万人马驻守河东，与之遥相呼应。
当大军行至霍邑西北五十里的雀鼠谷一带，适逢天降大雨，雷鸣电闪，雨脚如麻，天空中阴云密布，像倒扣了一个黑锅，竟一连二十多天不肯放晴。
进军的路上，积水成坑，泥泞不堪，车马践踏，早就轧成了耀糊一般的淤泥。单人走在上面，两脚粘成了个泥疙瘩，一步一跋涉，十分吃力。而车马辎重，深陷于泥淖之中，根本无法前进。
李世民坚持攻打霍邑，立下军令状唐军为大雨所困，只好在地形较高处安营扎寨，暂时滞留在这旷野之中，等待雨停天晴。然而，大军的给养已经不足，李渊派到太原增运粮草的队伍至今未归。
恰在此时，军中又悄悄地流传起一股谣言，说是刘武周联合突厥兵正在南下，意在乘虚攻取太原。一时军中人心惶惶，惊悸不安。是继续前进，还是回师太原，李渊有些举棋不定，便召集众将领至中军大帐议事。
大家坐稳之后，李渊说明意图，裴寂率先说：“宋老生、屈突通联兵据险，我们很难迅速攻下霍邑。东面李密虽说口头上答应联合，但此人翻云覆雨，奸谋难测。近来军中又盛传突厥人与刘武周联兵南下，未知虚实。太原乃是一方都会，又是我军根本之地，义军家眷都在那里。依在下之见，不如先守住太原，以后再徐图大事。”
其他许多将领都纷纷附会裴寂，李渊也赞同裴寂等人的意见，打算暂时回太原。
只有李世民不同意，他急忙说：“刘武周称帝之后，位极而自满，他暂时无力也无意南下。突厥人多疑而贪利，虽与刘武周勾结，不过是互相利用，内心却各有猜忌。那突厥人怎么可能近舍马邑而远图太原呢?刘武周深知此情，未必与之同谋。而且朝廷既听说我等起兵，正调兵遣将，纷纷赶至通往西京的路上。我若一鼓作气，挺进长安，则只有迎面的守军相拒。若是此时退兵，突厥人、刘武周反而会不谋而至，宋老生、屈突通也会追奔而来，我军必陷于首尾受敌、四面被围的窘境。进无所入，往无所之，害怕溺水却先被淹死，如此后果，让人不寒而栗。”
刘武周
李建成、唐俭、长孙顺德等人极力赞同李世民之见，力主义无反顾，长驱西进。
见李渊多时沉吟不语，李世民又说：“如今满山坡都是庄稼，不愁人马缺粮少草。李密在洛阳一带，既为隋军所牵制，又恋着宛洛一带的几个大粮仓。而宋老生此人，骁勇有余，却暴躁无谋，破之不难。是西进而成就霸业，还是退缩而身败名裂，在此一决。有人保家爱命，所以请归。儿等愿捐躯力战，鼓噪而前。还请父帅切勿犹豫，雨停之后，即发兵霍邑。儿等若不杀宋老生以取霍邑，情愿以死谢罪。”
李渊下令回师保太原，世民痛哭劝父尽管李世民说得慷慨激昂，口干舌焦，但老成持重的李渊，还是要以保住太原为根本。他认为裴寂说的有一点十分重要，那就是万干将士的家春都在太原。至于李世民的话，虽说也有几分道理，但毕竟是初生牛犊不怕虎，凭着年轻人的热血，将复杂纷纭的战事看得太简单，勇气有余，而稳健不足。
李湖不再理会李世民和李建成他们，看看众人说：“不要再争了，我意己决。今日傍晚，大军便拔寨回师。西取长安，也不在这一朝一夕，以后可慢慢图之。”
晚饭之后，雨势略减，但还在淅淅沥沥地下个不停。李建成的左军已陆续拔营，踏着泥泞，垂头丧气地向北迤逦而返。
李世民心急如焚，他认定此一去将再无西征之日，数月之中呕心沥血促成的举义大事，就这样功败垂成，毁于一旦。他不甘心，要继续拼死力争。因此，李世民下令他所率领的右三军，继续稳守营寨，没有他的命令，一兵一卒不得北归。
李世民
当天夜里，李世民又来到了父亲李渊的营帐。李渊装睡不肯见他。李世民在帐外雨中徘徊，他想到这次撤军而去，不仅仅是举义大事将化为泡影，弄不好还会全军覆没，不禁乱箭穿心，失声痛哭起来。
李渊蒙眬中突然听到哭泣之声，故意问左右：“是谁在帐外啼哭?”
“回唐公，二公子。”一个侍卫答道。
李渊大惊，霍地翻身坐了起来，让人把李世民召进帐来。
“男儿有泪不轻弹。汝身为大将，堂堂七尺须眉，因何事深更半夜在帐外哭泣?”
“孩儿一时情急，不能自抑，惊扰了父帅，还请恕罪。不过，我等为伸张大义发兵，义旗一举，万民翘盼，天下倾动。当此之时，只有勇往直前，攻战不停，才能有望成功。一旦退缩，则将士丧志，百姓寒心，四方打算前来归顺的义军也会望而却步，心灰意冷。到那时，我军兵士溃散于前，而敌军乘势追击于后，上天无路，入地无门，只能是死路一条。孩儿一念及此，怎么能不悲伤?”
听到这里，李渊似乎有所醒悟，不禁为之动容，说：“大军已向北出发，如何是好?”
李世民马上接口道：“孩儿所率右军未发。左军虽已开拔，想必所去不会太远，孩儿愿意快马追之。”
李渊看看儿子，叹口气说：“我之成败，皆在于你。好吧，不必再说了，由你自行决断吧。”
李世民大喜过望，急忙辞别父亲，带上几个亲兵，快马加鞭，向北疾驰而去。
突厥相助，世民献计八月初一这天，一连下了二千多天的大雨终于停了。雨过天晴，将士们的心情也像这天气一样，阴霾顿消，清新愉悦
李渊下令，让将士们晾晒铠甲行装，准备继续西进。正在此时，有人来报，刘文静从突厥出使归来，而且带来了一队突厥人马。
李渊大喜，急忙将刘文静接入帐中，详细询问他出使突厥的经过。文静此次出使，开始并不顺利。后来他利用突厥始毕可开贪利嗜财弱点，假意给出了一个肥美的钓饵，说：“唐公许诺，等到与可汗兵马司入长安之后，百姓土地归唐公，而财帛金宝归突厥。”
始毕可汗果然满心欢喜，当即设宴款待刘文静。不仅答应不趁火打劫，而且还派大将康鞘利率领骑兵两千跟随刘文静同来参战，另外资助战马一千匹。
听刘文静说完，李渊大喜。立即接见康鞘利，好言抚慰，并派往右军，由李世民统一指挥。军中所传突厥人联合刘武周进攻太原的谣言不攻自破。
刘文静
八月初三凌晨，乘着漫天大雾，李渊率领大队人马，从东南山小路进军，神速地出现在霍邑城下，在城东五六里处安营扎寨。
霍邑临山傍水，易守难攻。宋老生采取坚守不出的战略，唐军又缺乏攻城战具，若是久攻不下，长期拖延在这里，不能迅速西进，对唐军将极为不利。
李渊对此深为忧虑。李世民献计道：“宋老生勇而无谋，以轻骑挑衅他们，他自会出战。只要将这条老蛇引出洞来，再截断其后路，则杀之不难。”
李渊说：“你说得不错，前些日子我们被大雨困在雀鼠谷，他不知乘势出兵偷袭，坐失良机，可见也并非什么大将之才。不过，他毕竟带兵多年，有些战守经验，只凭激将之法，他未必上当。”
李世民道：“此事我已思虑再三，我们可先放出谣言，就说宋老生与我军早有勾结，因此不肯出兵截击，眼看着放我们挺进关中。他当然知道场广性好疑忌，害怕下属参奏他通敌，朝朝廷治他叛乱之罪，到那时，看他还能坐得住?”
李世民刚刚说完，李渊连连点头：“这倒是一条妙计，可以一试。”
世民亲手射杀宋老生当天晚上，李世民挑选了数十名弓***手，将写着谣言的书札绑在箭杆上，从四面八方射入城中。
第二天，霍邑城中果然谣言四起，军民们一传十、十传百，都说主将宋老生已生叛逆之心，暗中勾结唐军，顿时人心大乱。
宋老生听了这些谣传，气得暴跳如雷。正在此时，李世民、李建成带领大队人马，从城下大路上招摇西行。李世民在马上向城头守军拱手说：“多谢宋老将军借道之美意。他日攻克长安，另立新主，我李世民定会为将军请立头功。”
宋老生正站在城上瞭阵，闻听此言，顿时勃然大怒：这小子太轻狂！他决意亲自领兵出战，杀杀唐军的气焰。更重要的是，他已经被逼上悬崖，必须大杀一阵，才能洗清自己“通敌”的罪名，即使兵败，也能落个清白之身。于是，宋老生命人打开城门，亲率三万人马，倾巢而出。
这时，李渊在城东列阵，将士们高声叫骂。宋老生挺枪纵马，指挥大军掩杀过去。双方交战不久，李渊下令收缩阵地，宋老生误以为唐军败退，率队紧追不舍。
趁此机会，李世民、李建成引领西去的大军，急速回师，直逼城下，先占领了东门和南门外的高地，截断了宋老生的退路。
李世民挥舞双刀，两腿轻轻拍打马腹，一阵风似的从背后杀入了隋军阵地，将士们见主将如此神勇，各个奋勇争先，以一当十，隋军后队登时大乱。李世民命令将士们大声呼喊：“已生擒宋老生！”“宋老生已成战俘，隋军弟兄们不要再抵抗了！”隋军将士们听说主帅已被生擒，也不知是真是假，一时人心惶惶，争相向城门处奔去。
李世民、李建成的军队早已守候在城门处，见溃军如一窝蜂似的乱糟糟蜂拥而来，便抖擞起十分精神，奋力斩杀。
宋老生见三万人马霎时溃散，变成了无法控制的散兵游勇。孤掌难鸣，只好打马向城中奔去。但见城门紧闭，又有唐军在外，只好向西落荒而逃、此时，城上守军看到主帅，连声大呼，并从城头上放下一条绳索。宋老生连忙扔掉马匹，奔至墙下，双手挽住绳索，噌噌噌向上攀登，眼看就要登上城头女儿墙的洞口。
唐军中有人惊呼：“莫放跑了宋老生！”
李世民见状，一面取弓搭箭，一面拍马向前冲去。在战马扬开四蹄、风驰电掣般的狂奔之中，一支长箭飞射而去，不偏不倚，正中宋老生后颈。“好箭法！”“李将军神箭！”唐军将士亲眼看到这精彩的一幕，禁不住齐声欢呼。
霍邑大捷，世民取头功此刻，暮色降临，城头上守军的面孔变得模糊起来。数十只昏黄暗淡的灯笼陆续点亮，在晚风中有气无力地晃动着，像守城的隋军一样无精打采。李渊下令乘胜登城。军头雷永吉口咬短刀，冒着不断飞来的流矢，第一个登上城头，他挥刀奋力砍斫，连杀数人。已经没有了主帅的守城隋军群龙无首，还能有什么斗志?至此便一哄而散。
雷永吉带领弟兄们飞快地跑下城墙，打开南门，放下吊桥，大队人马蜂拥而入。占领霍邑城，西征路上的又一大障碍被扫清了。霍邑大捷之后，李渊一面打开粮仓，分发给城中百姓；一面以库中金银绢帛，奖赏有功将士。
李渊军、隋军进军图
李世民在大军进与退的关键时刻，力排众议，据理力争，坚持南下西进，从而避免了战略决策上的一次重大失误，甚至可以说在生死存亡的关健时刻挽救了全军。对这一点，李渊和众位将领都十分清楚。论功行赏，李世民毋庸置疑当属头功。李渊下令，奖赏其黄金五百两。众将领纷纷来贺，李世民淡淡一笑：“攻城略地，冲锋陷阵，都是弟兄们冒死在前，没有他们，我李世民何功之有?霍邑大捷，是他们用血内之躯换来的。”说罢，他把雷永吉叫来，将五百两黄金全部交给他，可嘱道：“你把这些黄金全部分给营中弟兄们。他们在这里打仗卖命，家中父母妻儿说不定还在忍饥换食。记住，特别是那些阵亡的弟兄，要给他们家中多捎带一些去。”
雷永吉手捧着黄金，忽然双膝跪下，嘴角哆嗦了许久，没说出一句话来，而一大串热泪，却从眼眶中急速地滚落下来......
