而此时张士贵的日子本来就越来越难过了，李建成出守潼关后，自然不会再重用刘文静的部下。
最糟糕的是，张士贵祖籍在晋地，后来的家乡在虢州，他的祖上还是北齐余孽，和关西人天然就隔着一层。
而当时朝中内外，晋人正在受到强烈的排斥，这许多因由加在一起，张士贵自然不会好了，兵权渐渐被太子心腹们削夺一空，待到李破大举南下的时候，潼关兵力猛然收缩了回来，就更用不上他这个河南土著了。
所以，张士贵在潼关孤立无援，渐渐为众人所轻，他本人对李建成也是不满日甚，尤其是刘文静被诛之事，让他对太子一系产生了极大的怨恨。
这个时候，还是秦王李世民拉了他一把，调其为秦王府左监门将，为驻守于黄河沿岸的大军运送粮草。
转了一圈，张士贵又干起了老本行，从一个河南大寇成了运粮官儿，这样巨大的落差，他心中的失望也就可想而知了，依他的性格，对李世民也是不太满意。
他的性情确实和刘文静比较相像，心胸不很宽广，自高自傲，很容易便心生不满，只是两人不同的地方在于，张士贵吃了亏会长记性，没刘文静那么猖狂。