裴家忠于前前朝皇室，李氏夺取江山改朝换代，裴氏不愿效忠新主，全部退出朝堂。