卫青为人仁慈，性格柔和，遇好事不争先，能退让，对待同仁、部属，态度诚恳，不当面一套背后一套，又一来为李广之死而心怀愧疚，二来也不想让李家再受罪责，因而李敢击伤自己一事，一直隐匿不说。然而，纸包不住火，卫青自己不说，知晓内情的平阳公主却忍不住了，不顾卫青的告诫，将这事偷偷地告诉了霍去病。
舅舅卫青一向是霍去病心里的偶像，听说自己的部下竟然敢冒犯大将军，顿时火起，便要去寻仇。平阳公主一看情势不妙，慌忙将霍去病劝住了。然而，两人的梁子算是结下了。
不久，武帝带上霍去病，李敢等人，自上雍到甘泉宫去狩猎。霍去病瞅了一个机会，射杀了李敢。武帝得知，勃然大怒，将霍去病狠狠训斥了一顿，但又不想责罚他，便为他打圆场，对外宣称：李敢在狩猎时不慎为野鹿所触杀。卫青自然是知道真相的，将平阳公主和霍去病都召来狠狠地骂了一顿。
苏建曾劝卫青养士以获得好名声。卫青认为养士会让天子忌讳，以前魏其侯窦婴和武安侯田蚡厚待宾客就常让天子切齿，而且作为臣子，只需要奉法遵职就可以了，何必为求得好名声去养士呢？在卫青的告诫和教导下，霍去病虽也是战功显赫，但也一不结党，二不养士，因而毛病虽多，但与卫青一样，始终为武帝所器重。
漠北之战后，匈奴人实力大损，远远逃遁，本应再接再励，彻底消除祸患，但汉廷因军马少，已无法再去追击。伊稚斜单于也觉得此时汉廷强大，匈奴势弱，便采用赵信之计，派出使者，呈上好辞，请求和亲。武帝召集群臣，商议此事。有人认为当和亲，有人认为当趁机使匈奴臣服。丞相长史任敞道：“匈奴刚刚遭受失败，疲惫交加，处境困难，应当让他们做外臣，每年春秋两季到边境上来朝拜皇上。”武帝欣然赞同，便派他为使，前去说降。
伊稚斜单于听了任敞的话，勃然大怒，说大匈奴还没困窘到这一步呢，便扣留了他，不让他回归长安。在此之前，汉朝也招降过匈奴使者，单于亦扣留汉朝使者相抵偿。
武帝得知伊稚斜单于不肯臣服后，自是大怒，便下令收集兵马，准备再次远征匈奴，心中理想的主帅自然是霍去病。这一年乃元狩六年（公元前117年）。数次领兵出征的劳累，长时间处于艰苦的环境，终于将疆场上威风凛凛的骠骑将军给击倒了。这时，太子刘据和皇后卫子夫日渐宠衰，因而常怀忧心。虽然武帝曾主动找到卫青，让他转告太子，说他温厚好静能安天下，是最合适的继位贤主，但随着武帝的年事日高，疑心渐重，与卫青一样，霍去病也不禁为太子的未来担忧。
虽然病得很重，但霍去病还是决定冒死进谏，上疏请武帝封皇子刘闳、刘旦、刘胥三人为诸侯王，并且诸侯王必须“就国”，即去封地居住而不能留在长安。奏章中说承蒙陛下错爱，使自己能在军**职。本应专心思考边防事务，即使战死荒野也无法报答陛下，居然敢考虑他事来打扰陛下。自己这样做，实在是因为看到陛下为天下事忧劳，因哀怜百姓忘了自己，减少了食膳音乐，裁减了郎员。皇子们赖天保佑，长大成人，已能行趋拜之礼，但至今未封号位，设师傅官。陛下谦恭礼让，不怜悯骨肉之情，群臣私下都希望早日予以封号，但不敢越职进奏。自己不胜犬马之心，冒死建言，希望陛下命有司，趁盛夏吉日早定皇子之位。希望陛下鉴察。
三月乙亥日，御史霍光兼尚书令上奏未央宫。汉武帝下诏说交御史办理。四月乙巳日，武帝封刘闳为齐王，刘旦为燕王，刘胥为广陵王，并令人传话说：爱卿所虑之事，朕已办妥了。暂时不要再考虑别的事情，好好养病，朕静候你的佳音。
这年九月，大司马骠骑将军霍去病的病情日益严重，自知时日无多，便将长子霍嬗（字子侯）召唤到病床前，嘱咐他好好侍奉母亲，忠于君主，忠于职守。霍嬗留着泪，一一答应。霍去病又转头看向自己的爱妻，紧紧拉着她的手。去病之妻也紧握着他的手，泪眼婆娑，无语凝噎。霍去病勉强挤出一个笑容，嘴巴微张，但终究没有再说出一个字，握着妻子的那只手渐渐松开，渐渐松开……
任何时候，武帝都是步伐不缓不急，形色不慌不忙，举止相当从容。可这一次，他的步伐紧急，他的形色慌乱，一进霍府，也随之流泪，并久久哀叹，言大司马骠骑将军薨，朕折一臂矣！
此后，武帝心灰意冷，暂时不再言北击匈奴之事。