爱华网十九年(前307年)正月，武灵王招肥义谈论天下大事，(史记是这么说的，实际的情形，可能是召集肥义及以下官员，举行军事会议。)谈了5天才结束。会后，武灵王带领军队进攻中山国，到达中山国南境的边防城市：房子(今河北高邑县西南)，第一战就吃了败仗，只好退兵。
武灵王带领干部作边境考察，沿着中山与赵国的边境到达代(今河北蔚县)，北到“无穷之门”(位于今河北张北县)，西到黄华(可能是黄河边的山丘)。考察回来后召见楼缓谋划，说：“先王趁世事变化，作了这里的主人，依靠漳水、滏水的天险，修筑长城，攻取蔺、郭浪，在荏打败了林胡，但功业还没完成。现在中山在我国中间，北有燕，东有东胡，西有林胡、楼烦和秦、韩的边境。
如果没有强大的兵力救援，就要亡国了，怎么办?要有高于世俗的功名，一定会受到背离习俗的拖累。我想要全国军民都改穿作战与工作方便的胡服。”楼缓说：“好，臣支持大王的决定。”但群臣都不想改穿野蛮人的服装，武灵王再与重臣肥义讨论，肥义也支持武灵王的构想。
武灵王想让德高望重的叔叔公子成带头穿胡服，为群臣榜样，公子成反对，称病不朝。武灵王亲自前往公子成家劝说。二十一年(前305年)，再进攻中山，二十六年(前300年)，再次进攻中山，这一次，赵国决定要消灭中山国，出动大军连续进攻五年，前296年终于消灭中山国，另立一位傀儡中山王，次年又把傀儡取消，中山国彻底的消灭了。
在进攻中山时，还继续攻伐北方及西方的胡人部落，领土向北扩大到燕、代，向西扩大到云中(今内蒙古呼和浩特托克托县)、九原，并从今天的河北张家口到内蒙古巴彦淖尔盟五原县修筑“赵长城”。前297年，赵主父巡视新领土时碰到楼烦王，楼烦王不想打仗也不想逃跑，他向赵主父投降，把军队交给赵主父收编，楼烦人成了赵国人。
