他当时出任疏勒兵马使，和席元庆一起，成为高仙芝的左右心腹大将。后来李庆安主政安西，高仙芝调剑南节度使，他便跟随高仙芝来到了巴山蜀水，对高仙芝一直忠心耿耿，高仙芝被李事下狱，随即被北唐施压放人时，赵崇砒便是夷陵主将，席元庆则是秭归主将，两人走投无路，得兄弟赵崇节之劝，他们二人便率军入汉中，投降了北唐。赵崇毗今年约四十岁，长得又高又黑，骨节宽大，颇有军人气质，但他却是一个比较沉默的人，喜怒不形于色，令人很难摸清他的想法。让赵崇砒攻取夷陵，是李庆安的建议，李光弼本来是想让席元庆来肩负此重任，相对一直沉默寡言的赵崇砒，李光弼更了解席元庆。但李庆安却写信告诉李光弼，席元庆可以占领夷陵，但保不住夷陵的粮食物资，而赵崇砒却能完胜，尽管李光弼还是有一点将信将疑，但他不敢违抗李庆安的命令，便让赵崇砒写下军令状，命他率两万旧部攻取夷陵。‘拿下夷陵及军资，可记首功，公可升为将军，拿不下夷陵，提头来见17此时赵崇毗刚刚得到消息，他的家人已经被成都情报堂救走，现在十分安全，这让赵崇砒长长松了口气，没有了家眷做人质的束缚，他可以放开手脚大干一场了。赵崇砒看了看天色，此时已是一更时分了，离夷陵还有一百里左右，向导告诉他，前面一段路不太好走，按照目前的速度，走到四更时，离夷陵大约还有五十里，那一带山高林密，极易隐蔽。“传令军队加快行军速度，四更时驻营休息。”两万军队轻装简行，没有粮食辎重，每个士兵只带了三天的干粮，他们大都是步兵，但也有两千匹山地马，主要驮负伤病士兵和一些必要的武器，军队没有走大路，而是走隐蔽的山间小路，这种蜿蜒崎岖的山路，除了少量的山地马可以通过，像辎重马车等大型物资都无法通行，从汉中出发，他们已经连续强行军了两天，都已经有点疲惫了。这支军队是赵崇砒的旧部，大部分都是蜀中当地人，在剑南军中属于精锐之师，他们不善于骑马，却善于山地战，能适应在崇山峻岭中的高强度行军。尽管还要走到后半夜，但士兵依然振奋精神，加快了速度，向前走又进入崎岖的山路，山路艰难，军队翻过了两座山头约五十里，终于抵达一处峡谷地带，从这里到夷陵，基本上都是峡谷，可以沿着一条叫黄柏水的河流直达夷陵城后背。