开皇初，党项羌屡次在边境袭扰，朝廷派大将军刘哙征讨，同时杨坚又派开府杨武通统兵。杨秀作为益州总管，派遣心腹万智光担任杨武通的行军司马本就正常。杨坚倒好，痛骂了一顿，还当着群臣的面：“违犯朕所制定的法律的人，必然出现于朕的子孙当中。这就像猛兽一样，强有力的外敌都无法伤害，但它却会被毛间小虫叮咬、吸食。”

一个父亲，当着所有人的面，这样比喻他的亲生儿子，何况他只不过是行使自己的正当权益，且不说万智光是不是真的无能，就算无能，也不必说得如此难听吧？但是杨坚就说了，而且他还削夺了杨秀的权力，步步分化他的职权，使杨秀逐渐成为一个傀儡。杨秀的心里可想而知，想那晋王杨广平陈，自由行事，权力独大，想任命谁就任命谁，想奖励谁就奖励谁，可是到了他这里，就变成了小毛虫咬猛兽。

再之后，内心极度不平的杨秀变了，开始追求奢华的物质生活，车马服饰都按天子的格式来，包括把成都扩大了一倍，旧成都城不够用，他就命人再筑新城，挖土再筑，挖的大坑形成了一个人工湖，即“摩诃池”。

当杨坚招杨秀回京的诏书到成都之后，杨秀便知道自己怕是凶多吉少，不愿意前往，想以病为由推辞不动身。

益州总管司马源师劝杨秀奉令回京，不要因此恶了杨坚，杨秀变了脸色说：“这是我家的事，跟你有什么相干！”

源师忠心耿耿，流着眼泪劝道：“我被任命为大王府中的幕僚，怎敢不尽心竭力？皇有敕命追究您，如今您拖延不去，庶民百姓不了解大王的心意，如果产生了非议，朝廷内外猜疑骇惧，圣颁下震怒的诏书，派来一名使者，大王又怎么自我申辩呢？希望大王仔细考虑这件事！”

杨秀听后色变。

他拉着自己的妻妾儿女痛哭一顿，这才沐浴更衣，遂车架前往京中。

杨坚做的也很决，怕杨秀作乱，直接任命原州总管独孤楷为益州总管，驿马驰至益州来替代杨秀。

杨秀过了广元有些后悔了，又想回成都，独孤楷觉察到杨秀有反悔之意，就率领军队作了准备，堵在杨秀返程的路。杨秀知道后路已失，只得赶往长安。

杨秀一路过了凤州梁泉县（今陕西凤县凤州镇），锁拿杨秀入京的诏书也到了。

杨秀如晴天霹雳，口不能言。可他现在身无一兵一卒，根本无力反抗，只得束手就擒。这时候杨秀还不知道因为何故被锁拿，只得哀叹道：“昨为益州主，今为阶下囚。”让人听了忍不住垂泪叹息。

被锁拿进大兴城，望着这座依旧车水马龙的城市，杨秀感到无比的陌生。他十九岁出镇属地，至今已经有九年，虽然也曾返回长安，但每次都是行色匆匆，也未曾注意到长安的变化。说起来自己不如五弟受宠爱，天子也很少招他回京，一次来长安还是独孤皇后的五十五岁寿辰，至今已经是两年多了吧。

看着高耸的城墙，杨秀长叹一声：“我怕是再也出来了这个囚笼了。”

不出杨秀所料，这一次再回长安的杨秀已经是个罪人了，根本没有人来迎接他，他所面对的将是冰冷的律法和对未来的绝望。

从现在开始，杨秀到死没能解禁。