冯胜的态度上十分傲慢。
冯胜虽然愤怒常茂对自己的态度，却没有揭发他做的这些事情。
之后二人因为纳哈出一事闹得十分难堪，常茂因为砍伤纳哈出而被押送回京。
在回京之后，常茂借机弹劾冯胜，朱元璋闻言当即收回冯胜的总兵印，让蓝玉总领北伐，继而打出捕鱼儿海大捷。
事后，在确定冯胜无罪后，朱元璋将常茂贬去广西龙州。
虽说是虎落平阳被犬欺，但到底是瘦死的骆驼比马大，常遇春的威名，再加上常茂本身也是统兵大将，让他在小小的龙州混得风生水起。
龙州土官赵帖坚没有儿子，但有两个女儿。
他的长女嫁给了太平州土官李圆泰，次女则是被他送给了常茂，被常茂收做了妾室。
洪武二十一年赵贴坚去世，因为没有儿子，他的赵宗寿继承了土官的职位，但赵贴坚妻子黄氏却并不承认他的地位，在他继承土官职位后，更是凭借常茂的权势统揽龙州大小事务，将赵宗寿架空。
洪武二十四年常茂去世后，黄氏和宗寿争夺龙州官印，互相检举揭发。
黄氏借机让人虚构流言说常茂实际上没死，赵宗寿知道详情。
这件事情在不久前传到了南京，朱元璋知道后狐疑，派遣官员询问赵宗寿，并且命令赵宗寿如果常茂还活着，就让他把常茂交出来赎罪。