楊堅接受“禪讓”後，國家改朝易姓，楊素就被認爲是叛國的奸臣。但是他身爲楊堅的得力助手，待遇自然不會差。隨後楊素領兵打仗的奇才，滅了陳朝還俘虜陳後主，爲建立統一的隋朝打下基礎。楊素爲隋朝的疆域穩定立下了汗馬功勞，戰功令人矚目。在隊內關係方面，在泉州豪族王國慶據州謀反時斬首高智慧，讓餘衆投降，從而徹底平定江南。在對外關係方面，大膽使用騎兵取代陳舊的保守陣法，大敗突厥。

楊素是個行軍打仗的奇才，雖然頗有奇效，屢戰屢勝，但是世人評價卻是殘忍非常。楊素好在戰前玩“殺雞儆猴”這一招，每次站前美名其曰重整軍紀，以莫須有的罪名處死幾個士兵。讓軍中人心惶惶，畏懼他的殘暴。楊素好用死士，每次打仗先讓一百名死士衝在前方，如果後面有活着回來的就全部斬殺，如果一百名死士沒有一個人回來，就再派兩百人、五百人上場殺敵，無一例外的是，凡是有活着回來的，統統殺死，就這樣子一直下去直到打贏勝站爲止。

隋文帝在位時期，結束了十六國的亂世，統一全國，又有雄韜武略，朝廷上下多爲臣服，經濟繁榮，楊素自然功不可沒。但楊素在與突厥交戰中和楊廣結識狼狽爲奸，陷害太子楊勇，又成功幫助楊廣登上帝位，不得不說也是加速隋朝滅亡的千古罪人。 楊素是個心胸狹隘之人，凡是與他作對的文武百官，都被他百般爲難，一直搞到別人祖孫後代都沒有活路。又及其護短，主要是奉承他的、凡是他的子孫親戚的再怎麼無能都能加官加爵。然而就是這麼一個“小氣”的人卻在歷史上留下一個君子成人之美的故事。

楊素有一個小妾以前是南陳的一個小公主，她的丈夫徐德言是江南的富商之子，二人伉儷情深，在南陳被滅時，二人被迫分離，在一塊藍玉分爲兩塊，待到重逢時再合二爲一。楊素知道小妾的心事後，被他們二人的愛情感動，便大手一揮放走小妾讓她和愛人相聚，而這就是成語“破鏡重圓”的由來。