深受文帝猜忌
杨素本身亦非易与之辈，密谋作反，又屯积兵器粮草财富，然杨素不久病死文帝一夜之间尽杀其党羽，却始终找不到杨素的宝库