隋朝第一大将
杨素出身士族，祖父杨暄，官至北魏辅国将军、谏议大夫。父亲杨敷，为北周汾州刺史。杨素“少落拓，有大志，不拘小节”(《隋书·杨素列传》)。时人多未知之，唯其从叔祖北魏尚书仆射杨宽深异之，每次在子孙面前提起杨素时总说：“处道当逸群绝伦，非常之器，非汝曹所逮也”(《隋书·杨素列传》)。 后与安定人牛弘(后任隋朝礼部、吏部尚书)同窗共读，知识渊博，在文学、书法上均有造诣，史书称其“研精不倦，多所通涉。善属文，工草隶，颇留意于风角。美须髯，有英杰之表”(《隋书·杨素列传》)。时北周大冢宰宇文护把持朝政，引其为中外记室，后转礼曹，加大都督。
北周天和七年(公元572年)三月，北周武帝宇文邕诛杀宇文护亲掌朝政，杨素因曾受到宇文护的重用，所以遭到株连。此时，杨素以其父杨敷死于北齐，但未受朝廷追封，便上表申诉。周武帝不理。杨素再三上表，周武帝大怒，下令杀杨素。杨素高声地说：“臣事无道天子，死其分也”(《隋书·杨素列传》)。周武帝闻后，对杨素刮目相看，赦其无罪，并追赠其父为大将军，谥忠壮。拜杨素为车骑大将军、仪同三司，并逐渐对其有了好感。周武帝又令杨素起草诏书，素下笔成章，文词华丽，周武帝赞扬道：“善自勉之，勿忧不富贵。”而杨素却回答说：“臣但恐富贵来逼臣，臣无心图富贵”(《隋书·杨素列传》)。北周建德四年(575年)七月，周武帝率军攻北齐，杨素请求率其父旧部为先锋，周武帝从之，赐以竹策，并说：“朕方欲大相驱策，故用此物赐卿”(《隋书·杨素列传》)。杨素随齐王宇文宪攻北齐河阴(今河南洛阳东北)，因功封清河县子，邑五百户。同年授司城大夫。
北周建德五年(576年)十月，杨素再次随宇文宪攻北齐，克晋州(治白马城今山西临汾境)。宇文宪屯兵栖原，北齐帝高纬率诸军自晋阳(今山西太原)向晋州进发。宇文宪闻北齐军主力至，大惧，乘夜而逃，结果为北齐军追上，北周军多被击溃。杨素与骁将十余人尽力苦战，宇文宪方得以解围。此后，杨素更是屡立战功。北齐灭亡后，杨素加上开府，改封成安县公，邑千五百户，赐以粟帛、奴婢、杂畜。
北周建德六年(577年)十月，陈宣帝陈顼闻北周灭北齐， 杨素即乘机争夺淮北地区，遂派名将吴明彻率军北伐。吴明彻军至北周吕梁(今江苏徐州东南)，击败徐州总管梁士彦，进围彭城(今江苏徐州)。北周建德七年(578年)二月，杨素随上大将军王轨前去救援，最终大破陈军，俘主将吴明彻。杨素遂治东楚州事。其弟杨慎被封为义安侯。陈将樊毅筑城于泗口，杨素将其击走之，并将所筑之城全部毁坏。
北周宣政元年(578年)六月，周武帝去世，周宣帝继位。宣帝即位后，杨素袭父爵临贞县公，并以其弟杨约为安成公。北周大象元年(579年)，杨素随上柱国韦孝宽攻陈淮南(泛指今淮河以南地区)，其中杨素率军攻克盱眙(今江苏盱眙东北)、钟离(今安徽凤阳东北)。
北周大象二年(580年)五月十一日，北周宣帝宇文赟病死。周静帝宇文衍年幼，左丞相杨坚专政。杨素知杨坚甚得众心，且有称帝之意，遂主动投到杨坚门下，与其深自结纳。杨坚也知杨素之才，对其也非常器重，不久便以杨素为汴州刺史。
杨素在上任途中行至洛阳时，方知相州(治邺城)总管尉迟迥等举兵反杨坚。尉迟迥原为北周文帝宇文恭的外甥，位望素重，杨坚恐其有异图，遂以会葬宣帝为名，诏使其子尉迟敦召尉迟迥入朝；并以韦孝宽为相州总管赴邺(今河北临漳西南)取代尉迟迥。六月，尉迟迥恐杨坚专权对北周不利，公开起兵反对杨坚。荥州刺史宇文胄据武牢以应尉迟迥，使杨素无法前行。
七月十日，杨坚调发关中兵，令韦孝宽为行军元帅，杨素与郕公梁士彦、乐安公元谐、化政公宇文忻、濮阳公宇文述、武乡公崔弘度、陇西公李询等皆为行军总管，率军讨伐尉迟迥。旋拜大将军，领河内兵攻打宇文胄，破斩之。迁徐州总管，进位柱国，封清河郡公，邑二千户。其弟杨岳也被封为临贞公。
北周大定元年(581年)二月，大丞相杨坚受禅登基，改元开皇，是为隋文帝，并加杨素上柱国。并参与了隋朝法律的修定。开皇四年(584 年)，拜御史大夫。由于其妻郑氏是个悍妇，杨素一次与其吵架说了一句：“我若作天子，卿定不堪为皇后”(《隋书·杨素列传》)。结果被其妻告发，杨素因此获罪，并被免官。
此次经历，险些毁了杨素的前途。好在隋文帝一直准备灭亡陈朝，统一中国，杨素曾数次献伐陈之策，此次被免官后，杨素并没有闲著，再次献伐陈之策。开皇五年(585年)十月，杨素任信州总管，经略长江上游，并赐钱百万、锦千段、马二百匹而遣之。
开皇七年(587年)，杨素、与尚书左仆射高颎、吴州总管贺若弼及光州刺史高劢、虢州刺史崔仲方等争献平陈之策。杨素在永安，(巴东郡，今重庆市奉节县东) 建造“五牙”(上起楼五层，高百余尺；左右前后置六拍竿，并高五十尺，容战士八百人)、“黄龙”等战船，加强水师，作灭陈准备。并故意在江中漂下造船废料，以威慑陈人。
开皇八年(588年)三月，隋文帝下诏，列举陈后主罪行又送玺书暴其罪恶20条，并将诏书在江南散发30万份，以争取人心。十月，杨坚在寿春(今安徽寿县)设淮南行台省，以晋王杨广为行台尚书令，主管灭陈之事。杨素与杨广、秦王杨俊并为行军元帅，高颎为晋王元帅长史，右仆射王韶为司马，集中水陆军 51.8万，统由杨广节度，东至大海，西到巴、蜀，旌旗舟楫，横亘数千里。隋军自长江上游至下游分为8路攻陈，其中杨素指挥水军主力，出巴东郡，顺流东下，负责消灭长江及沿岸陈水陆军。十一月，杨坚至定城(今陕西华阴东)誓师，准备渡江的各路隋军进抵长江北岸，完成进攻准备。
十二月上旬，杨素按隋灭陈作战部署，首先率舟师自巴东郡东下三峡，在长江上游发起攻势作战。军至流头滩(又名虎头滩，今湖北宜昌西北)，陈将戚昕率青龙战船百余艘、战士数千人坚守前方狼尾滩(今湖北宜昌西北长江中)，以遏隋军。狼尾滩地势险峭，水流湍急，易守难攻，诸将皆患之。杨素认为：“胜负大计，在此一举。若昼日下船，彼则见我，滩流迅激，制不由人，则吾失其便”(《隋书·杨素列传》)。于是决定采用水陆协同，分进合击的方针，乘夜突袭，将其击败。杨素率黄龙战船数千艘，利用夜暗，令将士衔枚开进，实施正面突破；令开府仪同三司王长袭率步兵由长江南岸攻击戚昕别栅；令大将军刘仁恩率甲骑自江陵(今属湖北)西进，沿长江北岸进击陈军白沙(今宜昌东)要点。隋军水陆配合，于次日拂晓，一举击败戚听所部。戚听逃走，部属全部被俘。杨素对俘虏不杀不辱，慰劳后全部释放。秋毫不犯，陈人大悦。此战，杨素恰当选择进攻时机，以水军突袭与两岸步、骑兵协同攻击，速战速决，取得首战胜利，为灭陈战争发展创造了有利条件。实行优待俘虏政策，有利于争取更多的陈军将士。
杨素率水军继续顺江东下，一时“舟舻被江，旌甲曜日”(《隋书·杨素列传》)。杨素坐平乘大船，容貌雄伟，陈人望之惧曰：“清河公即江神也”(《隋书·杨素列传》)。陈荆州刺史陈慧纪派南康内史吕忠肃率军屯守歧亭(今长江西陵峡口)，在两岸岩石上凿孔，系三条铁索横截江面，阻遏隋军战船。为固守峡口，吕忠肃将自己私产全部捐出充军，所以陈军斗志颇高，防御也很严密。开皇九年(589年)正月，杨素分兵一部与大将军刘仁恩军相配合，猛攻陈军岸上栅障营垒，吕忠肃率军据险抵抗，激战40余次，隋军伤亡惨重，死5000余人。陈军尽割死者之鼻以邀功求赏，激起隋军愤怒，拚死力战，多次获胜。所俘陈军将士，杨素则全部释放。在隋军猛烈攻击下，吕忠肃被迫放弃营栅，连夜逃走。杨素令士卒毁掉栏江铁索，继续沿江而下。
吕忠肃退据荆门之延洲(今湖北枝江附近长江中)，依恃荆门山险要地形，再次阻遏隋军。杨素派善于驾舟的巴延士卒1000人，乘“五牙”战舰4艘，用舰上拍竿击碎陈战船10余艘，俘2000余人，再次大破吕忠肃军，吕忠肃只身逃走。驻守江南岸安蜀城(今湖北宜都西北长江南岸)的陈信州刺史顾觉，也弃城逃走。屯守公安(今湖北公安西北)的陈慧纪见形势不利，烧掉储蓄，率军3万、战船千余艘，顺流东撤，企图入援建康(今南京市)，被秦王杨俊军阻于汉口(今湖北汉水入长江之处)以西。巴陵以东，无敢守者。陈湘州刺史，岳阳王陈叔慎亦降于杨素。此战，杨素、刘仁恩以水军、步兵相配合，先击破陈军江岸据点，再以水军战船接舷战，大破敌军。隋大型战舰“五牙”及重型拍竿装备在作战中显示了威力。优俘政策对瓦解陈军、配合军事进攻，具有积极作用。至此，长江上游为隋军所控制，阻止了上游陈军的东援，保障了下游主力的渡江作战。
隋军在长江上游作战获胜后，杨素一面率主力沿江东下，与秦王杨俊会师于汉口(时下游隋军已攻占建康)，一面派兵南下略地，扩大战果。二月初又派薛胄、刘仁恩率军进击湘州。隋军一举击败出城迎战的陈湘州助防遂兴侯陈正理和樊通军，薛胄等乘胜入城，俘陈叔慎。刘仁思军再破邬居业于横桥(今湖南常德)，擒邬居业等。湘州等地的平定，为隋进军岭南准备了前进基地。
还军，杨素因战功卓著被进爵郢国公，邑三千户，真食长寿县千户。以其子杨玄感为仪同，杨玄奖为清河郡公。赐物万段，粟万石，加以金宝，又赐陈主妹及女妓十四人。杨素又上言：“里名胜母，曾子不入。逆人王谊，前封于郢，臣不愿与之同”(《隋书·杨素列传》)。于是改封越国公。六月，拜纳言；开皇十年(590 年)七月，转内史令。
江南自东晋以来，世家士族一直欺压寒门庶族。隋灭陈统一中国后，南方士族豪强因对隋实行的限制政策不满，便利用民间对隋欲移民关中流言的惊恐心理，乘机煽动叛乱。十年十一月，婺州(治今浙江金华)汪文进、越州(治今浙江绍兴)高智慧、苏州沈玄侩等均举兵反隋，自称天子，署置百官。蒋山(今南京钟山)李忮、乐安(今浙江仙居西)蔡道人、温州沈孝彻、泉州(治今福州)王国庆等，都自称大都督，起兵攻陷州县，反乱大抵遍及原陈属地。其规模大者数万人，小者数千人，互相呼应，残杀隋朝官吏。面对如此严峻的形式，隋文帝遂命杨素为行军总管率军平叛。
杨素率军由杨子津(今江苏扬州南)渡江，首先击破叛军朱莫问(自称南徐州刺史)于京口(今江苏镇江)。继而击败晋陵(今江苏常州)顾世兴，顾世兴率其都督鲍迁等再战，杨素击破之，俘鲍迁以下3000余人。又进击无锡叶略，平之。时沈玄侩、沈杰等等正围攻苏州，刺史皇甫绩屡战不利，杨素军赶到将其击败，沈玄侩逃至南沙人陆孟孙处，杨素进击陆孟孙于松江，大破之，生擒陆孟孙、沈玄侩。黟、歙叛军沈雪、沈能据栅自守，又攻拔之。
高智慧(自称东扬州刺史)率部据守浙江(今钱塘江)东岸营垒，屯据要害，周围百余里，船舰千艘，遮盖江面，鼓噪而进。子总管来护儿建议：“吴人累锐，利在舟楫。必死之贼，难与争锋。公且严阵以待之，勿与接刃，请假奇兵数千，潜度江，掩破其壁，使退无所归，进不得战，此韩信破赵之策也”(《北史·来护儿列传》)。杨素纳其言，并命其率轻型战船数百艘，偷渡浙江，以奇兵突袭，并焚烧高智慧后方营垒，使其恐惧不安；杨素则乘机率军从正面突击，大败高智慧军。尔后，杨素派行军总管史万岁率军2000人进攻婺州，自率主力由海道追击逃入海中的高智慧，直趋温州。高智慧来战，杨素将其击败，俘数千人。而后又平定蔡道人、汪文进。杨素在温州击败沈孝彻后，便由陆路转向天台、临海(今属浙江)，继续追击反隋散兵，前后战斗达100多次。高智慧退守闽、越。
此时隋文帝考虑到隋军长时间征战，便诏令杨素入朝。同时加其子杨玄感为上开府，赐彩物三千段。而杨素则认为：“余贼未殄，恐为后患”(《隋书·杨素列传》)，便上书请求暂缓返京，继续剿匪。隋文帝对杨素此举非常赞赏，便下诏说：“朕忧劳百姓，日旰忘食，一物失所，情深纳隍。江外狂狡，妄构妖逆，虽经殄除，民未安堵。犹有贼首凶魁，逃亡山洞，恐其聚结，重扰苍生。内史令、上柱国、越国公素，识达古今，经谋长远，比曾推毂，旧著威名，宜任以大兵，总为元帅，宣布朝风，振扬威武，擒剪叛亡，慰劳黎庶。军民事务，一以委之”(《隋书·杨素列传》)。杨素继续率军由会稽(今浙江绍兴)走海道向泉州追击。
时泉州人王国庆为南安豪族，杀刺史刘弘，据州为乱，各处逃亡的叛军皆附于他。王国庆自以为海路险阻，而隋军多为北方人，不习海战，遂不设防。杨素率水师从海道掩至，王国庆大惊，弃州逃跑，其众或入海岛，或守溪洞。于是杨素分遣诸将，水、陆分进追捕。并派人密劝王国庆：“尔之罪状，计不容诛。唯有斩送智慧，可以塞责”(《隋书·杨素列传》)。王国庆遂抓获高智慧，送交隋军，杨素将其斩首，余众全部投降，至此，江南全部平定。此战，杨素辞谢回朝休养诏令，坚持除恶务尽，连续追歼彻底平定江南之乱，对巩固隋朝统一，发展生产具有积极作用。隋文帝派左领军将军独孤陀迎至浚仪犒劳隋军，待回京后，问者日至。隋文帝再封杨玄奖为仪同，赐黄金四十斤，加银瓶，实以金钱，缣三千段，马二百匹，羊二千口，公田百顷，宅一区。
开皇十二年(592年)十二月，杨素代苏威为尚书右仆射，与尚书左仆射高颎同掌朝政。
杨素性疏而辩，朝臣之中，颇推高颎，敬牛弘，厚接薛道衡，蔑视苏威。其余的大臣民，多被其凌轹。其才艺风调，优于高颎，至于治理国家，则远不如高颎。
开皇十三年(593年)二月，隋文帝在岐州之北建仁寿宫，令杨素监造。杨素奏请莱州刺史宇文恺检校将作大匠，记室封德彝为土木监。杨素为巩固其政治利益，讨好隋文帝，遂“夷山堙谷以立宫殿，崇台累榭，宛转相属”。又“役使严急，丁夫多死，疲屯颠仆，推填坑坎，覆以土石，因而筑为平地。死者以万数”(《资治通鉴·卷第一百七十八》)。
开皇十五年(595年)三月，仁寿宫建成，隋文帝至仁寿宫。时值天热，“役夫死者相次于道，杨素悉焚除之”(《资治通鉴·卷第一百七十八》)。其残暴程度令人发指。此前隋文帝先派高颎前去视察，高颎据实回报：“颇伤绮丽，大损人丁”(《隋书·杨素列传》)，隋文帝心中不悦。待隋文帝至仁寿宫，见宫殿如此奢华，大怒道：“杨素殚民力为离宫，为吾结怨天下”(《资治通鉴·卷第一百七十八》)。杨素惶恐无比，担心受责备，一时束手无策，便向封德彝请教。封德彝为人邪辟，多阴谋，便对杨素说：“公勿忧，俟皇后至，必有恩诏。”杨素即于北门拜见独孤皇后说：“帝王法有离宫别馆，今天下太平，造此一宫，何足损费” (《隋书·杨素列传》)！次日，隋文帝果召杨素问之，独孤皇后则在傍为杨素辨解：“公知吾夫妇老，无以自娱，盛饰此宫，岂非忠孝”(《资治通鉴·卷第一百七十八》)！结果杨素不但没有获罪，反而被赐钱百万，锦绢三千段。从此，杨素更得隋文帝的信任。而杨素则恃财凌物，对众人多有凌侮，唯独重赏了帮其大忙的封德彝。封德彝从此成为杨素的心腹，杨素常与其议论宰相职务，终日忘倦，还抚其床说：“封郎必当据吾此座”(《资治通鉴·卷第一百七十八》)。封德彝在杨素的推荐下，被隋文帝擢升为内史舍人。
自开皇初年起，隋采纳长孙晟之谋，一直对突厥施用离间计，使其内部长期混战不休。开皇十七年(597年)，隋文帝允许都兰可汗之弟突利可汗娶隋安义公主为妻，并故意予以优厚礼遇，借以离间都兰可汗。都兰可汗果被激怒，乃断绝朝贡，多次骚扰隋边。
开皇十九年(599年，《隋书·杨素列传》记载为十八年，有误)二月，突利可汗奏报都兰可汗制造攻城器械，准备攻击大同城(在今内蒙乌拉特前旗东北)。隋文帝命汉王杨谅为元帅(实际未亲临前线)，以杨素出灵州(治回乐，今宁夏灵武西南)，尚书左仆射高颎出朔州(治善阳，今山西朔县)，上柱国燕荣出幽州(治蓟县，今北京城西南)，三路进击突厥。
都兰可汗得知隋军来攻，与达头可汗结盟，合兵掩击突利可汗。四月，杨素军在灵州以北地区与达头可汗部遭遇。在此之前，隋将在与突厥交战时，因担心突厥彪悍的骑兵来往冲杀，都采用战车、骑兵和步兵相互交叉配合的阵法，阵外四周遍设鹿角、蒺藜等物，骑兵留在最里面。杨素认为：“此乃自固之道，非取胜之方也” (《隋书·杨素列传》)。遂抛弃这种自我保守的落后阵法，改变战术，下令各军摆开骑兵阵势。达头可汗闻之大喜道：“此天赐我也”(《隋书·杨素列传》)，并下马仰天而拜，即率l0余万精骑直扑隋军。上仪同三司周罗睺看到突厥求胜心切，阵形不整，乃请令率精骑迎击，杨素指挥大军随后继进，大败突厥，达头可汗带著重伤逃跑，其众死伤不可胜数，号哭而去。另一路隋军在高颎的率领下，也大破突厥，都兰可汗败逃，后被其部下所杀。隋军追过白道(内蒙呼和浩特西北)，越过秦山(今内蒙大青山)700余里，然后还师。十月，隋册封突利可汗为启民可汗，并令长孙晟率5万人在朔州西北筑大利城(今内蒙古和林格尔西北土城子)给启民可汗驻守，令其招抚突厥其它部落，为分化瓦解突厥，促进民族融合起了重要作用。杨素在此战中，敢于弃陈旧落后的车、骑、步互相卫护的保守阵法，大胆使用骑兵突击，取得大胜，再一次显了其杰出的军事才能。战后，隋文帝下诏褒奖，赐杨素缣二万匹，及万钉宝带。加其子杨玄感位大将军，杨玄奖、杨玄纵、杨积善皆为上仪同。
杨素“多权略，乘机赴敌，应变无方”(《隋书·杨素列传》)。同时治军严整，其部如有违犯军令者，立斩不赦，而绝不宽容。每次作战前都寻找士兵的过失，然后杀之。每次多者百余人，少也不下十几人。由于杀人过多，以至“流血盈前”，而杨素却言笑自若。两军对阵时，杨素先令一二百人前去迎敌，若取胜也就罢了，如不胜而败逃者，无论多少，全部斩首。然后再令二三百人迎敌，不胜则照杀不误。所以杨素的部下对他极其敬畏，作战时皆抱必死之心，所以战无不胜，称为名将。杨素当时正受宠幸，隋文帝对他言听计从，所以杨素征战的将士，都微功必录。而其他的将令虽有大功，但都被文官谴却。所以杨素虽严厉凶狠，但由于他能够恩威并施，所以将士皆愿随其征战。
开皇二十年(600年)四月，步迦可汗率兵进犯隋边。隋文帝命杨素隋晋王杨广出灵州(治回乐，今宁夏灵武西南)，同时又令汉王杨谅、柱国史万岁出朔州(治善阳，今山西朔县)，合击步迦可汗。杨广为培植自己的势力，亲自与杨素结交，杨素也知杨广有夺位之心，遂投其门下。
后文帝废太子勇，立次子广为太子，杨素参与其事。四年七月，文帝病逝，隋炀帝杨广即位。八月，并州总管汉王谅举兵反，炀帝以杨素为并州道行军总管，讨平汉王谅。大业元年（605年），杨素为尚书令，与宇文恺等奉诏营建东部。次年又进位司徒，改封楚公，同年病死。杨素贪财货，营求产业，邸店田宅以千百数，东西京居宅侈丽，家僮数千，姬妾众多。杨素工草隶书，善属文，有集十卷，今不存。子杨玄感，大业中反隋，兵败被杀。
《隋书·杨素传》
杨素，字处道，弘农华阴人也。祖暄，魏辅国将军、谏议大夫。父敷，周汾州刺史，没于齐。素少落拓，有大志，不拘小节，世人多未之知，唯从叔祖魏尚书仆射宽深异之，每谓子孙曰：“处道当逸群绝伦，非常之器，非汝曹所逮也。”后与安定牛弘同志好学，研精不倦，多所通涉。善属文，工草隶，颇留意于风角。美须髯，有英杰之表。周大冢宰宇文护引为中外记室，后转礼曹，加大都督。武帝亲总万机，素以其父守节陷齐，未蒙朝命，上表申理，帝不许。至于再三，帝大怒，命左右斩之。素乃大言曰：“臣事无道天子，死其分也。”帝壮其言，由是赠敷为大将军，谥曰忠壮。拜素为车骑大将军、仪同三司，渐见礼遇。帝命素为诏书，下笔立成，词义兼美。帝嘉之，顾谓素曰：“善自勉之，勿忧不富贵。”素应声答曰：“臣但恐富贵来逼臣，臣无心图富贵。”
及平齐之役，素请率父麾下先驱。帝从之，赐以竹策，曰：“朕方欲大相驱策，故用此物赐卿。”从齐王宪与齐人战于河阴，以功封清河县子，邑五百户。其年授司城大夫。明年，复从宪拔晋州。宪屯兵鸡栖原，齐主以大军至，宪惧而宵遁，为齐兵所蹑，众多败散。素与骁将十馀人尽力苦战，宪仅而获免。其后每战有功。及齐平，加上开府，改封成安县公，邑千五百户，赐以粟帛、奴婢、杂畜。从王轨破陈将吴明彻于吕梁 ，治东楚州事。封弟慎为义安侯。陈将樊毅筑城于泗口，素击走之，夷毅所筑。宣帝即位，袭父爵临贞县公，以弟约为安成公。寻从韦孝宽徇淮南，素别下盱眙、钟离。
及高祖为丞相，素深自结纳。高祖甚器之，以素为汴州刺史。行至洛阳，会尉迥作乱，荥州刺史宇文胄据武牢以应迥，素不得进。高祖拜素大将军，发河内兵击胄，破之。迁徐州总管，进位柱国，封清河郡公，邑二千户。以弟岳为临贞公。高祖受禅，加上柱国。开皇四年，拜御史大夫。其妻郑氏性悍，素忿之曰：“我若作天子，卿定不堪为皇后。”郑氏奏之，由是坐免。
上方图江表，先是，素数进取陈之计，未几，拜信州总管，赐钱百万、锦千段、马二百匹而遣之。素居永安，造大舰，名曰五牙，上起楼五层，高百馀尺，左右前后置六拍竿，并高五十尺，容战士八百人，旗帜加于上。次曰黄龙，置兵百人。自馀平乘、舴艋等各有差。及大举伐陈，以素为行军元帅，引舟师趣三硖。军至流头滩，陈将戚欣以青龙百馀艘、屯兵数千人守狼尾滩，以遏军路。其地险峭，诸将患之。素曰：“胜负大计，在此一举。若昼日下船，彼则见我，滩流迅激，制不由人，则吾失其便。”乃以夜掩之。素亲率黄龙数千艘，衔枚而下，遣开府王长袭引步卒从南岸击欣别栅，令大将军刘仁恩率甲骑趣白沙北岸，迟明而至，击之，欣败走。悉虏其众，劳而遣之，秋毫不犯，陈人大悦。素率水军东下，舟舻被江，旌甲曜日。素坐平乘大船，容貌雄伟，陈人望之惧曰：“清河公即江神也。”陈南康内史吕仲肃屯岐亭，正据江峡，于北岸凿岩，缀铁锁三条，横截上流，以遏战船。素与仁恩登陆俱发，先攻其栅。仲肃军夜溃，素徐去其锁。仲肃复据荆门之延洲。素遣巴蜒卒千人，乘五牙四艘，以柏樯碎贼十馀舰，遂大破之，俘甲士二千余人，仲肃仅以身免。陈主遣其信州刺史顾觉镇安蜀城，荆州刺史陈纪镇公安，皆慑而退走。巴陵以东，无敢守者。湘州刺史、岳阳王陈叔慎遣使请降。素下至汉口，与秦孝王会。及还，拜荆州总管，进爵郢国公，邑三千户，真食长寿县千户。以其子玄感为仪同，玄奖为清河郡公。赐物万段，粟万石，加以金宝，又赐陈主妹及女妓十四人。素言于上曰：“里名胜母，曾子不入。逆人王谊，前封于郢，臣不愿与之同。”于是改封越国公。寻拜纳言。岁馀，转内史令。
俄而江南人李稜等聚众为乱，大者数万，小者数千，共相影响，杀害长吏。以素为行军总管，帅众讨之。贼朱莫问自称南徐州刺史，以盛兵据京口。素率舟师入自杨子津，进击破之。晋陵顾世兴自称太守，与其都督鲍迁等复来拒战。素逆击破之，执迁，虏三千馀人。进击无锡贼帅叶略，又平之。吴郡沈玄懀、沈杰等以兵围苏州，刺史皇甫绩频战不利。素率众援之，玄懀势迫，走投南沙贼帅陆孟孙。素击孟孙于松江，大破之，生擒孟孙、玄懀。黟、歙贼帅沈雪、沈能据栅自固，又攻拔之。浙**帅高智慧自号东扬州刺史，船舰千艘，屯据要害，兵甚劲。素击之，自旦至申，苦战而破。智慧逃入海，素蹑之，从馀姚泛海趣永嘉。智慧来拒战，素击走之，擒获数千人。贼帅汪文进自称天子，据东阳，署其徒蔡道人为司空，守乐安。进讨，悉平之。又破永嘉贼帅沈孝彻。于是步道向天台，指临海郡，逐捕遗逸寇。前后百馀战，智慧遁守闽越。
上以素久劳于外，诏令驰传入朝。加子玄感官为上开府，赐彩物三千段。素以馀贼未殄，恐为后患，又自请行。乃下诏曰：“朕忧劳百姓，日旰忘食，一物失所，情深纳隍。江外狂狡，妄构妖逆，虽经殄除，民未安堵。犹有贼首凶魁，逃亡山洞，恐其聚结，重扰苍生。内史令、上柱国、越国公素，识达古今，经谋长远，比曾推毂，旧著威名，宜任以大兵，总为元帅，宣布朝风，振扬威武，擒剪叛亡，慰劳黎庶。军民事务，一以委之。”素复乘传至会稽。先是，泉州人王国庆，南安豪族也，杀刺史刘弘，据州为乱，诸亡贼皆归之。自以海路艰阻，非北人所习，不设备伍。素泛海掩至，国庆遑遽，弃州而走，馀党散入海岛，或守溪洞。素分遣诸将，水陆追捕。乃密令人谓国庆曰：“尔之罪状，计不容诛。唯有斩送智慧，可以塞责。”
国庆于是执送智慧，斩于泉州。自馀支党，悉来降附，江南大定。上遣左领军将军独孤陀至浚仪迎劳。比到京师，问者日至。拜素子玄奖为仪同，赐黄金四十斤，加银瓶，实以金钱，缣三千段，马二百匹，羊二千口，公田百顷，宅一区。代苏威为尚书右仆射，与高颎专掌朝政。
素性疏而辩，高下在心，朝臣之内，颇推高颎，敬牛弘，厚接薛道衡，视苏威蔑如也。自馀朝贵，多被陵轹。其才艺风调，优于高颎，至于推诚体国，处物平当，有宰相识度，不如颎远矣。
寻令素监营仁寿宫，素遂夷山堙谷，督役严急，作者多死，宫侧时闻鬼哭之声。及宫成，上令高颎前视，奏称颇伤绮丽，大损人丁，高祖不悦。素尤惧，计无所出，即于北门启独孤皇后曰：“帝王法有离宫别馆，今天下太平，造此一宫，何足损费！”后以此理谕上，上意乃解。于是赐钱百万，锦绢三千段。
十八年，突厥达头可汗犯塞，以素为灵州道行军总管，出塞讨之，赐物二千段，黄金百斤。先是，诸将与虏战，每虑胡骑奔突，皆以戎车步骑相参，舆鹿角为方阵，骑在其内。素谓人曰：“此乃自固之道，非取胜之方也。”于是悉除旧法，令诸军为骑阵。达头闻之大喜，曰：“此天赐我也。”因下马仰天而拜，率精骑十余万而至。素奋击，大破之，达头被重创而遁，杀伤不可胜计，群虏号哭而去。优诏褒扬，赐缣二万匹，及万钉宝带。加子玄感位大将军，玄奖、玄纵、积善并上仪同。
素多权略，乘机赴敌，应变无方，然大抵驭戎严整，有犯军令者立斩之，无所宽贷。每将临寇，辄求人过失而斩之，多者百余人，少不下十数。流血盈前，言笑自若。及其对阵，先令一二百人赴敌，陷阵则已，如不能陷阵而还者，无问多少，悉斩之。又令三二百人复进，还如向法。将士股栗，有必死之心，由是战无不胜，称为名将。素时贵幸，言无不从，其从素征伐者，微功必录，至于他将，虽有大功，多为文吏所谴却。故素虽严忍，士亦以此愿从焉。
二十年，晋王广为灵朔道行军元帅，素为长史。王卑躬以交素。及为太子，素之谋也。
仁寿初，代高颎为尚书左仆射，赐良马百匹，牝马二百匹，奴婢百口。其年，以素为行军元帅，出云州击突厥，连破之。突厥退走，率骑追蹑，至夜而及之。将复战，恐贼越逸，令其骑稍后。于是亲将两骑，并降突厥二人，与虏并行，不之觉也。候其顿舍未定，趣后骑掩击，大破之。自是突厥远遁，碛南无复虏庭。以功进子玄感位为柱国，玄纵为淮南郡公。赏物二万段。
及献皇后崩，山陵制度，多出于素。上善之，下诏曰：君为元首，臣则股肱，共治万姓，义同一体。上柱国、尚书左仆射、仁寿宫大监、越国公素，志度恢弘，机鉴明远，怀佐时之略，包经国之才。王业初基，霸图肇建，策名委质，受脤出师，擒剪凶魁，克平虢、郑。频承庙算，扬旍江表，每禀戎律，长驱塞阴，南指而吴越肃清，北临而獯猃摧服。自居端揆，参赞机衡，当朝正色，直言无隐。论文则词藻纵横，语武则权奇间出。既文且武，唯朕所命，任使之处，夙夜无怠。献皇后奄离六宫，远日云及，茔兆安厝，委素经营。然葬事依礼，唯卜泉石，至如吉凶，不由于此。素义存奉上，情深体国，欲使幽明俱泰，宝祚无穷。以为阴阳之书，圣人所作，祸福之理，特须审慎。乃遍历川原，亲自占择，纤介不善，即更寻求，志图元吉，孜孜不已。心力备尽，人灵协赞，遂得神皋福壤，营建山陵。论素此心，事极诚孝，岂与夫平戎定寇比其功业？非唯廊庙之器，实是社稷之臣，若不加褒赏，何以申兹劝励？可别封一子义康郡公，邑万户，子子孙孙，承袭不绝。馀如故。
并赐田三十顷，绢万段，米万石，金钵一，实以金，银钵一，实以珠，并绫锦五百段。
时素贵宠日隆，其弟约、从父文思、弟文纪，及族父异，并尚书列卿。诸子无汗马之劳，位至柱国、刺史。家僮数千，**妓妾曳绮罗者以千数。第宅华侈，制拟宫禁。有鲍亨者，善属文，殷胄者，工草隶，并江南士人，因高智慧没为家奴。
亲戚故吏，布列清显，素之贵盛，近古未闻。炀帝初为太子，忌蜀王秀，与素谋之，构成其罪，后竟废黜。朝臣有违忤者，虽至诚体国，如贺若弼、史万岁、李纲、柳彧等，素皆阴中之。若有附会及亲戚，虽无才用，必加进擢。朝廷靡然，莫不畏附。唯兵部尚书柳述，以帝婿之重，数于上前面折素。大理卿梁毗，抗表上言素作威作福。上渐疏忌之，后因出敕曰：“仆射国之宰辅，不可躬亲细务，但三五日一度向省，评论大事。”外示优崇，实夺之权也。终仁寿之末，不复通判省事。上赐王公以下射，素箭为第一，上手以外国所献金精盘，价直巨万，以赐之。四年，从幸仁寿宫，宴赐重叠。
及上不豫，素与兵部尚书柳述、黄门侍郎元岩等入閤侍疾。时皇太子入居大宝殿，虑上有不讳，须豫防拟，乃手自为书，封出问素。素录出事状以报太子。宫人误送上所，上览而大恚。所宠陈贵人又言太子无礼。上遂发怒，欲召庶人勇。太子谋之于素，素矫诏追东宫兵士帖上台宿卫，门禁出入，并取宇文述、郭衍节度，又令张衡侍疾。上以此日崩，由是颇有异论。
汉王谅反，遣茹茹天保来据蒲州，烧断河桥。又遣王聃子率数万人并力拒守。素将轻骑五千袭之，潜于渭口宵济，迟明击之，天保败走，聃子慑而以城降。有诏征还。初，素将行也，计日破贼，皆如所量。帝于是以素为并州道行军总管、河北安抚大使，率众数万讨谅。时晋、绛、吕三州并为谅城守，素各以二千人縻之而去。谅遣赵子开拥众十余万，策绝径路，屯据高壁，布阵五十里。素令诸将以兵临之，自引奇兵潜入霍山，缘崖谷而进，直指其营，一战破之，杀伤数万。谅所署介州刺史梁修罗屯介休，闻素至，惧，弃城而走。进至清源，去并州三十里，谅率其将王世宗、赵子开、萧摩诃等，众且十万，来拒战。又击破之，擒萧摩诃。谅退保并州，素进兵围之，谅穷蹙而降，余党悉平。帝遣素弟修武公约赍手诏劳素曰：我有隋之御天下也，于今二十有四年，虽复外夷侵叛，而内难不作，修文偃武，四海晏然。朕以不天，衔恤在疚，号天叩地，无所逮及。朕本以籓王，谬膺储两，复以庸虚，纂承鸿业。天下者，先皇之天下也，所以战战兢兢，弗敢失坠，况复神器之重，生民之大哉！贼谅包藏祸心，自幼而长，羊质兽心，假托名誉，不奉国讳，先图叛逆，违君父之命，成莫大之罪。诳惑良善，委任奸回，称兵内侮，毒流百姓。私假署置，擅相谋戮，小加大，少凌长，民怨神怒，众叛亲离，为恶不同，同归于乱。朕寡兄弟，犹未忍及言，是故开关门而待寇，揖干戈而不发。朕闻之，天生蒸民，为之置君，仰惟先旨，每以子民为念，朕岂得枕伏苫庐，颠而不救也！大义灭亲，《春秋》高义，周旦以诛二叔，汉启乃戮七籓，义在兹乎？事不获已，是以授公戎律，问罪太原。且逆子贼臣，何代不有，岂意今者，近出家国。所叹荼毒甫尔，便及此事。由朕不能和兄弟，不能安苍生，德泽未弘，兵戈先动，贼乱者止一从，涂炭者乃众庶。非唯寅畏天威，亦乃孤负付嘱，薄德厚耻，愧乎天下。
公乃先朝功臣，勋庸克茂。至如皇基草创，百物惟始，便匹马归朝，诚识兼至。汴部郑州，风卷秋箨，荆南塞北，若火燎原，早建殊勋，夙著诚节。及献替朝端，具瞻惟允，爰弼朕躬，以济时难，昔周勃、霍光，何以加也！贼乃窃据蒲州，关梁断绝，公以少击众，指期平殄。高壁据岭，抗拒官军，公以深谋，出其不意，雾廓云除，冰消瓦解，长驱北迈，直趣巢窟。晋阳之南，蚁徒数万，谅不量力，犹欲举斧。公以棱威外讨，发愤于内，忘身殉义，亲当矢石。兵刃暂交，鱼溃鸟散，僵尸蔽野，积甲若山。谅遂守穷城，以拒鈇钺。公董率骁勇，四面攻围，使其欲战不敢，求走无路，智力俱尽，面缚军门。斩将搴旗，伐叛柔服，元恶既除，东夏清晏，嘉庸茂绩，于是乎在。昔武安平赵，淮阴定齐，岂若公远而不劳，速而克捷者也！朕殷忧谅闇，不得亲御六军，未能问道于上庠，遂使劬劳于行阵。言念于此，无忘寝食。公乃建累世之元勋，执一心之确志。古人有言曰：“疾风知劲草，世乱有诚臣。”公得之矣。乃铭之常鼎，岂止书勋竹帛哉！功绩克谐，哽叹无已。稍冷，公如宜。军旅务殷，殊当劳虑，故遣公弟，指宣往怀。迷塞不次。
素上表陈谢曰：臣自惟虚薄，志不及远，州郡之职，敢惮劬劳，卿相之荣，无阶觊望。然时逢昌运，王业惟始，虽涓流赴海，诚心屡竭，轻尘集岳，功力盖微。徒以南阳里闾，丰沛子弟，高位重爵，荣显一时。遂复入处朝端，出总戎律，受文武之任，预帷幄之谋。岂臣才能，实由恩泽。欲报之德，义极昊天。伏惟陛下照重离之明，养继天之德，牧臣于疏远，照臣以光晖，南服降枉道之书，春宫奉肃成之旨。然草木无识，尚荣枯候时，况臣有心，实自效无路。尽夜回徨，寝食惭惕，常惧朝露奄至，虚负圣慈。贼谅包藏祸心，有自来矣，因幸国哀，便肆凶逆，兴兵晋、代，摇荡山东。陛下拔臣于凡流，授臣以戎律，蒙心膂之寄，禀平乱之规。萧王赤心，人皆以死，汉皇大度，天下争归，妖寇廓清，岂臣之力！曲蒙使臣弟约赍诏书问劳，高旨峻笔，有若天临，洪恩大泽，便同海运。悲欣惭惧，五情振越，虽百殒微躯，无以一报。
其月还京师，因从驾幸洛阳，以素领营东京大监。以平谅之功，拜其子万石、仁行、侄玄挺皆仪同三司，赉物五万段，绮罗千匹，谅之妓妾二十人。大业元年，迁尚书令，赐东京甲第一区，物二千段。寻拜太子太师，馀官如故。前后赏锡，不可胜计。明年，拜司徒，改封楚公，真食二千五百户。其年，卒官。谥曰景武，赠光禄大夫、太尉公、弘农河东绛郡临汾文城河内汲郡长平上党西河十郡太守。给辒车，班剑四十人，前后部羽葆鼓吹，粟麦五千石，物五千段。鸿胪监护丧事。帝又下诏曰：“夫铭功彝器，纪德丰碑，所以垂名迹于不朽，树风声于没世。故楚景武公素，茂绩元勋，劬劳王室，竭尽诚节，协赞朕躬。故以道迈三杰，功参十乱。未臻遐寿，遽揖清徽。春秋递代，方绵岁祀，式播雕篆，用图勋德，可立碑宰隧，以彰盛美。”素尝以五言诗七百字赠番州刺史薛道衡，词气宏拔，风韵秀上，亦为一时盛作。未几而卒，道衡叹曰：“人之将死，其言也善，岂若是乎！”有集十卷。
素虽有建立之策及平杨谅功，然特为帝所猜忌，外示殊礼，内情甚薄。太史言隋分野有大丧，因改封于楚。楚与隋同分，欲以此厌当之。素寝疾之日，帝每令名医诊候，赐以上药。然密问医人，恒恐不死。素又自知名位已极，不肯服药，亦不将慎，每语弟约曰：“我岂须更活耶？”素贪冒财货，营求产业。东、西二京，居宅侈丽，朝毁夕复，营缮无已。爰及诸方都会处，邸店、水硙并利田宅以千百数，时议以此鄙之。子玄感嗣，别有传。诸子皆坐玄感诛死。 约字惠伯，素异母弟也。在童儿时，尝登树堕地，为查所伤，由是竟为宦者。性好沉静，内多谲诈，好学强记。素友爱之，凡有所为，必先筹于约而后行之。在周末，以素军功，赐爵安成县公，拜上仪同三司。高祖受禅，授长秋卿。久之，为邵州刺史，入为宗正少卿，转大理少卿。
时皇太子无宠，而晋王广规欲夺宗，以素幸于上，而雅信约。于是用张衡计，遣宇文述大以金宝赂遗于约，因通王意，说之曰：“夫守正履道，固人臣之常致，反经合义，亦达者之令图。自古贤人君子，莫不与时消息，以避祸患。公之兄弟，功名盖世，当途用事，有年岁矣。朝臣为足下家所屈辱者，可胜数哉！又储宫以所欲不行，每切齿于执政。公虽自结于人主，而欲危公者固亦多矣。主上一旦弃群臣，公亦何以取庇？今皇太子失爱于皇后，主上素有废黜之心，此公所知也。今若请立晋王，在贤兄之口耳。诚能因此时建大功，王必镌铭于骨髓，斯则去累卵之危，成太山之安也。”约然之，因以白素。素本凶险，闻之大喜，乃抚掌而对曰：“吾之智思，殊不及此，赖汝起予。”约知其计行，复谓素曰：“今皇后之言，上无不用，宜因机会，早自结托，则匪唯长保荣禄，传祚子孙，又晋王倾身礼士，声名日盛，躬履节俭，有主上之风，以约料之，必能安天下。兄若迟疑，一旦有变，令太子用事，恐祸至无日矣。”素遂行其策，太子果废。
及晋王入东宫，引约为左庶子，改封修武县公，进位大将军。及素被高祖所疏，出约为伊州刺史。入朝仁寿宫，遇高祖崩，遣约入朝，易留守者，缢杀庶人勇，然后陈兵集众，发高祖凶问。炀帝闻之曰：“令兄之弟，果堪大任。”即位数日，拜内史令。约有学术，兼达时务，帝甚任之。后数载，加位右光禄大夫。
后帝在东都，令约诣京师享庙，行至华阴，见其兄墓，遂枉道拜哭，为宪司所劾，坐是免官。未几，拜淅阳太守。其兄子玄感，时为礼部尚书，与约恩义甚笃。既怆分离，形于颜色，帝谓之曰：“公比忧瘁，得非为叔邪？”玄感再拜流涕曰：“诚如圣旨。”帝亦思约废立功，由是征入朝。未几，卒，以素子玄挺后之。
文思字温才，素从叔也。父宽，魏左仆射，周小冢宰。文思在周，年十一，拜车骑大将军、仪同三司、散骑常侍。寻以父功，封新丰县子，邑五百户。天和初，治武都太守，十姓獠反，文思讨平之，复治翼州事。党项羌叛，文思率州兵讨平之。进击资中、武康、隆山生獠及东山獠，并破之。后从陈王攻齐河阴城，又从武帝攻拔晋州，以勋进授上仪同三司，改封永宁县公，增邑至千户。寿阳刘叔仁作乱，从清河公宇文神举讨之，战于砖井，在阵生擒叔仁。又别从王谊破贼于鲤鱼栅。其后累以军功，迁果毅右旅下大夫。高祖为丞相，从韦孝宽拒尉迥于武陟。迥遣其将李围俊怀州，与行军总管宇文述击走之。破尉敦，平邺城，皆有功，进授上大将军，改封洛川县公。寻拜隆州刺史。开皇元年，进爵正平郡公，加邑二千户。后为魏州刺史，甚有惠政，及去职，吏民思之，为立碑颂德。转冀州刺史。炀帝嗣位，征为民部尚书。转纳言，改授右光禄大夫。从幸江都宫，以足疾不堪趋奏，复授民部尚书，加位左光禄大夫。卒官，时年七十。谥曰定。初，文思当袭父爵，自以非嫡，遂让封于弟文纪，当世多之。
文纪字温范，少刚正，有器局。在周袭爵华山郡公，邑二千七百户。自右侍上士累迁车骑大将军、仪同三司、安州总管长史。将兵迎陈降将李瑗于齐安，与陈将周法尚军遇，击走之。以功进授开府，入为虞部下大夫。高祖为丞相，改封汾阴县公。从梁睿讨王谦，以功进授上大将军。前后增邑三千户。拜资州刺史。入为宗正少卿，坐事除名。后数载，复其爵位，拜熊州刺史。改封上明郡公。除宗正卿。兼给事黄门侍郎，判礼部尚书事。仁寿二年，迁荆州总管。岁余，卒官，时年五十八。谥曰恭。
史臣曰：杨素少而轻侠，俶傥不羁，兼文武之资，包英奇之略，志怀远大，以功名自许。高祖龙飞，将清六合，许以腹心之奇，每当推彀之重。扫妖氛于牛斗，江海无波；摧骁骑于龙庭，匈奴远遁。考其夷凶静乱，功臣莫居其右；览其奇策高
文，足为一时之杰。然专以智诈自立，不由仁义之道，阿谀时主，高下其心。营构离宫，陷君于奢侈；谋废冢嫡，致国于倾危。终使宗庙丘墟，市朝霜露，究其祸败之源，实乃素之由也。幸而得死，子为乱阶，坟土未干，阖门殂戮，丘陇发掘，宗族诛夷。则知积恶馀殃，信非徒语。多行无礼必自及，其斯之谓欤！约外示温柔，内怀狡算，为蛇画足，终倾国本，俾无遗育，宜哉。
北周天和七年(公元572年)三月，北周武帝宇文邕诛杀宇文护亲掌朝政，杨素因曾受到宇文护的重用，所以遭到株连。此时，杨素以其父杨敷死于北齐，但未受朝廷追封，便上表申诉。周武帝不理。杨素再三上表，周武帝大怒，下令杀杨素。杨素高声地说：“臣事无道天子，死其分也”(《隋书·杨素列传》)。周武帝闻后，对杨素刮目相看，赦其无罪，并追赠其父为大将军，谥忠壮。拜杨素为车骑大将军、仪同三司，并逐渐对其有了好感。周武帝又令杨素起草诏书，素下笔成章，文词华丽，周武帝赞扬道：“善自勉之，勿忧不富贵。”而杨素却回答说：“臣但恐富贵来逼臣，臣无心图富贵”(《隋书·杨素列传》)。北周建德四年(575年)七月，周武帝率军攻北齐，杨素请求率其父旧部为先锋，周武帝从之，赐以竹策，并说：“朕方欲大相驱策，故用此物赐卿”(《隋书·杨素列传》)。杨素随齐王宇文宪攻北齐河阴(今河南洛阳东北)，因功封清河县子，邑五百户。同年授司城大夫。
北周建德五年(576年)十月，杨素再次随宇文宪攻北齐，克晋州(治白马城今山西临汾境)。宇文宪屯兵栖原，北齐帝高纬率诸军自晋阳(今山西太原)向晋州进发。宇文宪闻北齐军主力至，大惧，乘夜而逃，结果为北齐军追上，北周军多被击溃。杨素与骁将十余人尽力苦战，宇文宪方得以解围。此后，杨素更是屡立战功。北齐灭亡后，杨素加上开府，改封成安县公，邑千五百户，赐以粟帛、奴婢、杂畜。
北周建德六年(577年)十月，陈宣帝陈顼闻北周灭北齐， 杨素即乘机争夺淮北地区，遂派名将吴明彻率军北伐。吴明彻军至北周吕梁(今江苏徐州东南)，击败徐州总管梁士彦，进围彭城(今江苏徐州)。北周建德七年(578年)二月，杨素随上大将军王轨前去救援，最终大破陈军，俘主将吴明彻。杨素遂治东楚州事。其弟杨慎被封为义安侯。陈将樊毅筑城于泗口，杨素将其击走之，并将所筑之城全部毁坏。
北周宣政元年(578年)六月，周武帝去世，周宣帝继位。宣帝即位后，杨素袭父爵临贞县公，并以其弟杨约为安成公。北周大象元年(579年)，杨素随上柱国韦孝宽攻陈淮南(泛指今淮河以南地区)，其中杨素率军攻克盱眙(今江苏盱眙东北)、钟离(今安徽凤阳东北)。
北周大象二年(580年)五月十一日，北周宣帝宇文赟病死。周静帝宇文衍年幼，左丞相杨坚专政。杨素知杨坚甚得众心，且有称帝之意，遂主动投到杨坚门下，与其深自结纳。杨坚也知杨素之才，对其也非常器重，不久便以杨素为汴州刺史。
杨素在上任途中行至洛阳时，方知相州(治邺城)总管尉迟迥等举兵反杨坚。尉迟迥原为北周文帝宇文恭的外甥，位望素重，杨坚恐其有异图，遂以会葬宣帝为名，诏使其子尉迟敦召尉迟迥入朝；并以韦孝宽为相州总管赴邺(今河北临漳西南)取代尉迟迥。六月，尉迟迥恐杨坚专权对北周不利，公开起兵反对杨坚。荥州刺史宇文胄据武牢以应尉迟迥，使杨素无法前行。
七月十日，杨坚调发关中兵，令韦孝宽为行军元帅，杨素与郕公梁士彦、乐安公元谐、化政公宇文忻、濮阳公宇文述、武乡公崔弘度、陇西公李询等皆为行军总管，率军讨伐尉迟迥。旋拜大将军，领河内兵攻打宇文胄，破斩之。迁徐州总管，进位柱国，封清河郡公，邑二千户。其弟杨岳也被封为临贞公。
北周大定元年(581年)二月，大丞相杨坚受禅登基，改元开皇，是为隋文帝，并加杨素上柱国。并参与了隋朝法律的修定。开皇四年(584 年)，拜御史大夫。由于其妻郑氏是个悍妇，杨素一次与其吵架说了一句：“我若作天子，卿定不堪为皇后”(《隋书·杨素列传》)。结果被其妻告发，杨素因此获罪，并被免官。
此次经历，险些毁了杨素的前途。好在隋文帝一直准备灭亡陈朝，统一中国，杨素曾数次献伐陈之策，此次被免官后，杨素并没有闲著，再次献伐陈之策。开皇五年(585年)十月，杨素任信州总管，经略长江上游，并赐钱百万、锦千段、马二百匹而遣之。
开皇七年(587年)，杨素、与尚书左仆射高颎、吴州总管贺若弼及光州刺史高劢、虢州刺史崔仲方等争献平陈之策。杨素在永安，(巴东郡，今重庆市奉节县东) 建造“五牙”(上起楼五层，高百余尺；左右前后置六拍竿，并高五十尺，容战士八百人)、“黄龙”等战船，加强水师，作灭陈准备。并故意在江中漂下造船废料，以威慑陈人。
开皇八年(588年)三月，隋文帝下诏，列举陈后主罪行又送玺书暴其罪恶20条，并将诏书在江南散发30万份，以争取人心。十月，杨坚在寿春(今安徽寿县)设淮南行台省，以晋王杨广为行台尚书令，主管灭陈之事。杨素与杨广、秦王杨俊并为行军元帅，高颎为晋王元帅长史，右仆射王韶为司马，集中水陆军 51.8万，统由杨广节度，东至大海，西到巴、蜀，旌旗舟楫，横亘数千里。隋军自长江上游至下游分为8路攻陈，其中杨素指挥水军主力，出巴东郡，顺流东下，负责消灭长江及沿岸陈水陆军。十一月，杨坚至定城(今陕西华阴东)誓师，准备渡江的各路隋军进抵长江北岸，完成进攻准备。
十二月上旬，杨素按隋灭陈作战部署，首先率舟师自巴东郡东下三峡，在长江上游发起攻势作战。军至流头滩(又名虎头滩，今湖北宜昌西北)，陈将戚昕率青龙战船百余艘、战士数千人坚守前方狼尾滩(今湖北宜昌西北长江中)，以遏隋军。狼尾滩地势险峭，水流湍急，易守难攻，诸将皆患之。杨素认为：“胜负大计，在此一举。若昼日下船，彼则见我，滩流迅激，制不由人，则吾失其便”(《隋书·杨素列传》)。于是决定采用水陆协同，分进合击的方针，乘夜突袭，将其击败。杨素率黄龙战船数千艘，利用夜暗，令将士衔枚开进，实施正面突破；令开府仪同三司王长袭率步兵由长江南岸攻击戚昕别栅；令大将军刘仁恩率甲骑自江陵(今属湖北)西进，沿长江北岸进击陈军白沙(今宜昌东)要点。隋军水陆配合，于次日拂晓，一举击败戚听所部。戚听逃走，部属全部被俘。杨素对俘虏不杀不辱，慰劳后全部释放。秋毫不犯，陈人大悦。此战，杨素恰当选择进攻时机，以水军突袭与两岸步、骑兵协同攻击，速战速决，取得首战胜利，为灭陈战争发展创造了有利条件。实行优待俘虏政策，有利于争取更多的陈军将士。
杨素率水军继续顺江东下，一时“舟舻被江，旌甲曜日”(《隋书·杨素列传》)。杨素坐平乘大船，容貌雄伟，陈人望之惧曰：“清河公即江神也”(《隋书·杨素列传》)。陈荆州刺史陈慧纪派南康内史吕忠肃率军屯守歧亭(今长江西陵峡口)，在两岸岩石上凿孔，系三条铁索横截江面，阻遏隋军战船。为固守峡口，吕忠肃将自己私产全部捐出充军，所以陈军斗志颇高，防御也很严密。开皇九年(589年)正月，杨素分兵一部与大将军刘仁恩军相配合，猛攻陈军岸上栅障营垒，吕忠肃率军据险抵抗，激战40余次，隋军伤亡惨重，死5000余人。陈军尽割死者之鼻以邀功求赏，激起隋军愤怒，拚死力战，多次获胜。所俘陈军将士，杨素则全部释放。在隋军猛烈攻击下，吕忠肃被迫放弃营栅，连夜逃走。杨素令士卒毁掉栏江铁索，继续沿江而下。
吕忠肃退据荆门之延洲(今湖北枝江附近长江中)，依恃荆门山险要地形，再次阻遏隋军。杨素派善于驾舟的巴延士卒1000人，乘“五牙”战舰4艘，用舰上拍竿击碎陈战船10余艘，俘2000余人，再次大破吕忠肃军，吕忠肃只身逃走。驻守江南岸安蜀城(今湖北宜都西北长江南岸)的陈信州刺史顾觉，也弃城逃走。屯守公安(今湖北公安西北)的陈慧纪见形势不利，烧掉储蓄，率军3万、战船千余艘，顺流东撤，企图入援建康(今南京市)，被秦王杨俊军阻于汉口(今湖北汉水入长江之处)以西。巴陵以东，无敢守者。陈湘州刺史，岳阳王陈叔慎亦降于杨素。此战，杨素、刘仁恩以水军、步兵相配合，先击破陈军江岸据点，再以水军战船接舷战，大破敌军。隋大型战舰“五牙”及重型拍竿装备在作战中显示了威力。优俘政策对瓦解陈军、配合军事进攻，具有积极作用。至此，长江上游为隋军所控制，阻止了上游陈军的东援，保障了下游主力的渡江作战。
隋军在长江上游作战获胜后，杨素一面率主力沿江东下，与秦王杨俊会师于汉口(时下游隋军已攻占建康)，一面派兵南下略地，扩大战果。二月初又派薛胄、刘仁恩率军进击湘州。隋军一举击败出城迎战的陈湘州助防遂兴侯陈正理和樊通军，薛胄等乘胜入城，俘陈叔慎。刘仁思军再破邬居业于横桥(今湖南常德)，擒邬居业等。湘州等地的平定，为隋进军岭南准备了前进基地。
还军，杨素因战功卓著被进爵郢国公，邑三千户，真食长寿县千户。以其子杨玄感为仪同，杨玄奖为清河郡公。赐物万段，粟万石，加以金宝，又赐陈主妹及女妓十四人。杨素又上言：“里名胜母，曾子不入。逆人王谊，前封于郢，臣不愿与之同”(《隋书·杨素列传》)。于是改封越国公。六月，拜纳言；开皇十年(590 年)七月，转内史令。
江南自东晋以来，世家士族一直欺压寒门庶族。隋灭陈统一中国后，南方士族豪强因对隋实行的限制政策不满，便利用民间对隋欲移民关中流言的惊恐心理，乘机煽动叛乱。十年十一月，婺州(治今浙江金华)汪文进、越州(治今浙江绍兴)高智慧、苏州沈玄侩等均举兵反隋，自称天子，署置百官。蒋山(今南京钟山)李忮、乐安(今浙江仙居西)蔡道人、温州沈孝彻、泉州(治今福州)王国庆等，都自称大都督，起兵攻陷州县，反乱大抵遍及原陈属地。其规模大者数万人，小者数千人，互相呼应，残杀隋朝官吏。面对如此严峻的形式，隋文帝遂命杨素为行军总管率军平叛。
杨素率军由杨子津(今江苏扬州南)渡江，首先击破叛军朱莫问(自称南徐州刺史)于京口(今江苏镇江)。继而击败晋陵(今江苏常州)顾世兴，顾世兴率其都督鲍迁等再战，杨素击破之，俘鲍迁以下3000余人。又进击无锡叶略，平之。时沈玄侩、沈杰等等正围攻苏州，刺史皇甫绩屡战不利，杨素军赶到将其击败，沈玄侩逃至南沙人陆孟孙处，杨素进击陆孟孙于松江，大破之，生擒陆孟孙、沈玄侩。黟、歙叛军沈雪、沈能据栅自守，又攻拔之。
高智慧(自称东扬州刺史)率部据守浙江(今钱塘江)东岸营垒，屯据要害，周围百余里，船舰千艘，遮盖江面，鼓噪而进。子总管来护儿建议：“吴人累锐，利在舟楫。必死之贼，难与争锋。公且严阵以待之，勿与接刃，请假奇兵数千，潜度江，掩破其壁，使退无所归，进不得战，此韩信破赵之策也”(《北史·来护儿列传》)。杨素纳其言，并命其率轻型战船数百艘，偷渡浙江，以奇兵突袭，并焚烧高智慧后方营垒，使其恐惧不安；杨素则乘机率军从正面突击，大败高智慧军。尔后，杨素派行军总管史万岁率军2000人进攻婺州，自率主力由海道追击逃入海中的高智慧，直趋温州。高智慧来战，杨素将其击败，俘数千人。而后又平定蔡道人、汪文进。杨素在温州击败沈孝彻后，便由陆路转向天台、临海(今属浙江)，继续追击反隋散兵，前后战斗达100多次。高智慧退守闽、越。
此时隋文帝考虑到隋军长时间征战，便诏令杨素入朝。同时加其子杨玄感为上开府，赐彩物三千段。而杨素则认为：“余贼未殄，恐为后患”(《隋书·杨素列传》)，便上书请求暂缓返京，继续剿匪。隋文帝对杨素此举非常赞赏，便下诏说：“朕忧劳百姓，日旰忘食，一物失所，情深纳隍。江外狂狡，妄构妖逆，虽经殄除，民未安堵。犹有贼首凶魁，逃亡山洞，恐其聚结，重扰苍生。内史令、上柱国、越国公素，识达古今，经谋长远，比曾推毂，旧著威名，宜任以大兵，总为元帅，宣布朝风，振扬威武，擒剪叛亡，慰劳黎庶。军民事务，一以委之”(《隋书·杨素列传》)。杨素继续率军由会稽(今浙江绍兴)走海道向泉州追击。
时泉州人王国庆为南安豪族，杀刺史刘弘，据州为乱，各处逃亡的叛军皆附于他。王国庆自以为海路险阻，而隋军多为北方人，不习海战，遂不设防。杨素率水师从海道掩至，王国庆大惊，弃州逃跑，其众或入海岛，或守溪洞。于是杨素分遣诸将，水、陆分进追捕。并派人密劝王国庆：“尔之罪状，计不容诛。唯有斩送智慧，可以塞责”(《隋书·杨素列传》)。王国庆遂抓获高智慧，送交隋军，杨素将其斩首，余众全部投降，至此，江南全部平定。此战，杨素辞谢回朝休养诏令，坚持除恶务尽，连续追歼彻底平定江南之乱，对巩固隋朝统一，发展生产具有积极作用。隋文帝派左领军将军独孤陀迎至浚仪犒劳隋军，待回京后，问者日至。隋文帝再封杨玄奖为仪同，赐黄金四十斤，加银瓶，实以金钱，缣三千段，马二百匹，羊二千口，公田百顷，宅一区。
开皇十二年(592年)十二月，杨素代苏威为尚书右仆射，与尚书左仆射高颎同掌朝政。
杨素性疏而辩，朝臣之中，颇推高颎，敬牛弘，厚接薛道衡，蔑视苏威。其余的大臣民，多被其凌轹。其才艺风调，优于高颎，至于治理国家，则远不如高颎。
开皇十三年(593年)二月，隋文帝在岐州之北建仁寿宫，令杨素监造。杨素奏请莱州刺史宇文恺检校将作大匠，记室封德彝为土木监。杨素为巩固其政治利益，讨好隋文帝，遂“夷山堙谷以立宫殿，崇台累榭，宛转相属”。又“役使严急，丁夫多死，疲屯颠仆，推填坑坎，覆以土石，因而筑为平地。死者以万数”(《资治通鉴·卷第一百七十八》)。
开皇十五年(595年)三月，仁寿宫建成，隋文帝至仁寿宫。时值天热，“役夫死者相次于道，杨素悉焚除之”(《资治通鉴·卷第一百七十八》)。其残暴程度令人发指。此前隋文帝先派高颎前去视察，高颎据实回报：“颇伤绮丽，大损人丁”(《隋书·杨素列传》)，隋文帝心中不悦。待隋文帝至仁寿宫，见宫殿如此奢华，大怒道：“杨素殚民力为离宫，为吾结怨天下”(《资治通鉴·卷第一百七十八》)。杨素惶恐无比，担心受责备，一时束手无策，便向封德彝请教。封德彝为人邪辟，多阴谋，便对杨素说：“公勿忧，俟皇后至，必有恩诏。”杨素即于北门拜见独孤皇后说：“帝王法有离宫别馆，今天下太平，造此一宫，何足损费” (《隋书·杨素列传》)！次日，隋文帝果召杨素问之，独孤皇后则在傍为杨素辨解：“公知吾夫妇老，无以自娱，盛饰此宫，岂非忠孝”(《资治通鉴·卷第一百七十八》)！结果杨素不但没有获罪，反而被赐钱百万，锦绢三千段。从此，杨素更得隋文帝的信任。而杨素则恃财凌物，对众人多有凌侮，唯独重赏了帮其大忙的封德彝。封德彝从此成为杨素的心腹，杨素常与其议论宰相职务，终日忘倦，还抚其床说：“封郎必当据吾此座”(《资治通鉴·卷第一百七十八》)。封德彝在杨素的推荐下，被隋文帝擢升为内史舍人。
自开皇初年起，隋采纳长孙晟之谋，一直对突厥施用离间计，使其内部长期混战不休。开皇十七年(597年)，隋文帝允许都兰可汗之弟突利可汗娶隋安义公主为妻，并故意予以优厚礼遇，借以离间都兰可汗。都兰可汗果被激怒，乃断绝朝贡，多次骚扰隋边。
开皇十九年(599年，《隋书·杨素列传》记载为十八年，有误)二月，突利可汗奏报都兰可汗制造攻城器械，准备攻击大同城(在今内蒙乌拉特前旗东北)。隋文帝命汉王杨谅为元帅(实际未亲临前线)，以杨素出灵州(治回乐，今宁夏灵武西南)，尚书左仆射高颎出朔州(治善阳，今山西朔县)，上柱国燕荣出幽州(治蓟县，今北京城西南)，三路进击突厥。
都兰可汗得知隋军来攻，与达头可汗结盟，合兵掩击突利可汗。四月，杨素军在灵州以北地区与达头可汗部遭遇。在此之前，隋将在与突厥交战时，因担心突厥彪悍的骑兵来往冲杀，都采用战车、骑兵和步兵相互交叉配合的阵法，阵外四周遍设鹿角、蒺藜等物，骑兵留在最里面。杨素认为：“此乃自固之道，非取胜之方也” (《隋书·杨素列传》)。遂抛弃这种自我保守的落后阵法，改变战术，下令各军摆开骑兵阵势。达头可汗闻之大喜道：“此天赐我也”(《隋书·杨素列传》)，并下马仰天而拜，即率l0余万精骑直扑隋军。上仪同三司周罗睺看到突厥求胜心切，阵形不整，乃请令率精骑迎击，杨素指挥大军随后继进，大败突厥，达头可汗带著重伤逃跑，其众死伤不可胜数，号哭而去。另一路隋军在高颎的率领下，也大破突厥，都兰可汗败逃，后被其部下所杀。隋军追过白道(内蒙呼和浩特西北)，越过秦山(今内蒙大青山)700余里，然后还师。十月，隋册封突利可汗为启民可汗，并令长孙晟率5万人在朔州西北筑大利城(今内蒙古和林格尔西北土城子)给启民可汗驻守，令其招抚突厥其它部落，为分化瓦解突厥，促进民族融合起了重要作用。杨素在此战中，敢于弃陈旧落后的车、骑、步互相卫护的保守阵法，大胆使用骑兵突击，取得大胜，再一次显了其杰出的军事才能。战后，隋文帝下诏褒奖，赐杨素缣二万匹，及万钉宝带。加其子杨玄感位大将军，杨玄奖、杨玄纵、杨积善皆为上仪同。
杨素“多权略，乘机赴敌，应变无方”(《隋书·杨素列传》)。同时治军严整，其部如有违犯军令者，立斩不赦，而绝不宽容。每次作战前都寻找士兵的过失，然后杀之。每次多者百余人，少也不下十几人。由于杀人过多，以至“流血盈前”，而杨素却言笑自若。两军对阵时，杨素先令一二百人前去迎敌，若取胜也就罢了，如不胜而败逃者，无论多少，全部斩首。然后再令二三百人迎敌，不胜则照杀不误。所以杨素的部下对他极其敬畏，作战时皆抱必死之心，所以战无不胜，称为名将。杨素当时正受宠幸，隋文帝对他言听计从，所以杨素征战的将士，都微功必录。而其他的将令虽有大功，但都被文官谴却。所以杨素虽严厉凶狠，但由于他能够恩威并施，所以将士皆愿随其征战。
开皇二十年(600年)四月，步迦可汗率兵进犯隋边。隋文帝命杨素隋晋王杨广出灵州(治回乐，今宁夏灵武西南)，同时又令汉王杨谅、柱国史万岁出朔州(治善阳，今山西朔县)，合击步迦可汗。杨广为培植自己的势力，亲自与杨素结交，杨素也知杨广有夺位之心，遂投其门下。
后文帝废太子勇，立次子广为太子，杨素参与其事。四年七月，文帝病逝，隋炀帝杨广即位。八月，并州总管汉王谅举兵反，炀帝以杨素为并州道行军总管，讨平汉王谅。大业元年（605年），杨素为尚书令，与宇文恺等奉诏营建东部。次年又进位司徒，改封楚公，同年病死。杨素贪财货，营求产业，邸店田宅以千百数，东西京居宅侈丽，家僮数千，姬妾众多。杨素工草隶书，善属文，有集十卷，今不存。子杨玄感，大业中反隋，兵败被杀。
《隋书·杨素传》
杨素，字处道，弘农华阴人也。祖暄，魏辅国将军、谏议大夫。父敷，周汾州刺史，没于齐。素少落拓，有大志，不拘小节，世人多未之知，唯从叔祖魏尚书仆射宽深异之，每谓子孙曰：“处道当逸群绝伦，非常之器，非汝曹所逮也。”后与安定牛弘同志好学，研精不倦，多所通涉。善属文，工草隶，颇留意于风角。美须髯，有英杰之表。周大冢宰宇文护引为中外记室，后转礼曹，加大都督。武帝亲总万机，素以其父守节陷齐，未蒙朝命，上表申理，帝不许。至于再三，帝大怒，命左右斩之。素乃大言曰：“臣事无道天子，死其分也。”帝壮其言，由是赠敷为大将军，谥曰忠壮。拜素为车骑大将军、仪同三司，渐见礼遇。帝命素为诏书，下笔立成，词义兼美。帝嘉之，顾谓素曰：“善自勉之，勿忧不富贵。”素应声答曰：“臣但恐富贵来逼臣，臣无心图富贵。”
及平齐之役，素请率父麾下先驱。帝从之，赐以竹策，曰：“朕方欲大相驱策，故用此物赐卿。”从齐王宪与齐人战于河阴，以功封清河县子，邑五百户。其年授司城大夫。明年，复从宪拔晋州。宪屯兵鸡栖原，齐主以大军至，宪惧而宵遁，为齐兵所蹑，众多败散。素与骁将十馀人尽力苦战，宪仅而获免。其后每战有功。及齐平，加上开府，改封成安县公，邑千五百户，赐以粟帛、奴婢、杂畜。从王轨破陈将吴明彻于吕梁 ，治东楚州事。封弟慎为义安侯。陈将樊毅筑城于泗口，素击走之，夷毅所筑。宣帝即位，袭父爵临贞县公，以弟约为安成公。寻从韦孝宽徇淮南，素别下盱眙、钟离。
及高祖为丞相，素深自结纳。高祖甚器之，以素为汴州刺史。行至洛阳，会尉迥作乱，荥州刺史宇文胄据武牢以应迥，素不得进。高祖拜素大将军，发河内兵击胄，破之。迁徐州总管，进位柱国，封清河郡公，邑二千户。以弟岳为临贞公。高祖受禅，加上柱国。开皇四年，拜御史大夫。其妻郑氏性悍，素忿之曰：“我若作天子，卿定不堪为皇后。”郑氏奏之，由是坐免。
上方图江表，先是，素数进取陈之计，未几，拜信州总管，赐钱百万、锦千段、马二百匹而遣之。素居永安，造大舰，名曰五牙，上起楼五层，高百馀尺，左右前后置六拍竿，并高五十尺，容战士八百人，旗帜加于上。次曰黄龙，置兵百人。自馀平乘、舴艋等各有差。及大举伐陈，以素为行军元帅，引舟师趣三硖。军至流头滩，陈将戚欣以青龙百馀艘、屯兵数千人守狼尾滩，以遏军路。其地险峭，诸将患之。素曰：“胜负大计，在此一举。若昼日下船，彼则见我，滩流迅激，制不由人，则吾失其便。”乃以夜掩之。素亲率黄龙数千艘，衔枚而下，遣开府王长袭引步卒从南岸击欣别栅，令大将军刘仁恩率甲骑趣白沙北岸，迟明而至，击之，欣败走。悉虏其众，劳而遣之，秋毫不犯，陈人大悦。素率水军东下，舟舻被江，旌甲曜日。素坐平乘大船，容貌雄伟，陈人望之惧曰：“清河公即江神也。”陈南康内史吕仲肃屯岐亭，正据江峡，于北岸凿岩，缀铁锁三条，横截上流，以遏战船。素与仁恩登陆俱发，先攻其栅。仲肃军夜溃，素徐去其锁。仲肃复据荆门之延洲。素遣巴蜒卒千人，乘五牙四艘，以柏樯碎贼十馀舰，遂大破之，俘甲士二千余人，仲肃仅以身免。陈主遣其信州刺史顾觉镇安蜀城，荆州刺史陈纪镇公安，皆慑而退走。巴陵以东，无敢守者。湘州刺史、岳阳王陈叔慎遣使请降。素下至汉口，与秦孝王会。及还，拜荆州总管，进爵郢国公，邑三千户，真食长寿县千户。以其子玄感为仪同，玄奖为清河郡公。赐物万段，粟万石，加以金宝，又赐陈主妹及女妓十四人。素言于上曰：“里名胜母，曾子不入。逆人王谊，前封于郢，臣不愿与之同。”于是改封越国公。寻拜纳言。岁馀，转内史令。
俄而江南人李稜等聚众为乱，大者数万，小者数千，共相影响，杀害长吏。以素为行军总管，帅众讨之。贼朱莫问自称南徐州刺史，以盛兵据京口。素率舟师入自杨子津，进击破之。晋陵顾世兴自称太守，与其都督鲍迁等复来拒战。素逆击破之，执迁，虏三千馀人。进击无锡贼帅叶略，又平之。吴郡沈玄懀、沈杰等以兵围苏州，刺史皇甫绩频战不利。素率众援之，玄懀势迫，走投南沙贼帅陆孟孙。素击孟孙于松江，大破之，生擒孟孙、玄懀。黟、歙贼帅沈雪、沈能据栅自固，又攻拔之。浙**帅高智慧自号东扬州刺史，船舰千艘，屯据要害，兵甚劲。素击之，自旦至申，苦战而破。智慧逃入海，素蹑之，从馀姚泛海趣永嘉。智慧来拒战，素击走之，擒获数千人。贼帅汪文进自称天子，据东阳，署其徒蔡道人为司空，守乐安。进讨，悉平之。又破永嘉贼帅沈孝彻。于是步道向天台，指临海郡，逐捕遗逸寇。前后百馀战，智慧遁守闽越。
上以素久劳于外，诏令驰传入朝。加子玄感官为上开府，赐彩物三千段。素以馀贼未殄，恐为后患，又自请行。乃下诏曰：“朕忧劳百姓，日旰忘食，一物失所，情深纳隍。江外狂狡，妄构妖逆，虽经殄除，民未安堵。犹有贼首凶魁，逃亡山洞，恐其聚结，重扰苍生。内史令、上柱国、越国公素，识达古今，经谋长远，比曾推毂，旧著威名，宜任以大兵，总为元帅，宣布朝风，振扬威武，擒剪叛亡，慰劳黎庶。军民事务，一以委之。”素复乘传至会稽。先是，泉州人王国庆，南安豪族也，杀刺史刘弘，据州为乱，诸亡贼皆归之。自以海路艰阻，非北人所习，不设备伍。素泛海掩至，国庆遑遽，弃州而走，馀党散入海岛，或守溪洞。素分遣诸将，水陆追捕。乃密令人谓国庆曰：“尔之罪状，计不容诛。唯有斩送智慧，可以塞责。”
国庆于是执送智慧，斩于泉州。自馀支党，悉来降附，江南大定。上遣左领军将军独孤陀至浚仪迎劳。比到京师，问者日至。拜素子玄奖为仪同，赐黄金四十斤，加银瓶，实以金钱，缣三千段，马二百匹，羊二千口，公田百顷，宅一区。代苏威为尚书右仆射，与高颎专掌朝政。
素性疏而辩，高下在心，朝臣之内，颇推高颎，敬牛弘，厚接薛道衡，视苏威蔑如也。自馀朝贵，多被陵轹。其才艺风调，优于高颎，至于推诚体国，处物平当，有宰相识度，不如颎远矣。
寻令素监营仁寿宫，素遂夷山堙谷，督役严急，作者多死，宫侧时闻鬼哭之声。及宫成，上令高颎前视，奏称颇伤绮丽，大损人丁，高祖不悦。素尤惧，计无所出，即于北门启独孤皇后曰：“帝王法有离宫别馆，今天下太平，造此一宫，何足损费！”后以此理谕上，上意乃解。于是赐钱百万，锦绢三千段。
十八年，突厥达头可汗犯塞，以素为灵州道行军总管，出塞讨之，赐物二千段，黄金百斤。先是，诸将与虏战，每虑胡骑奔突，皆以戎车步骑相参，舆鹿角为方阵，骑在其内。素谓人曰：“此乃自固之道，非取胜之方也。”于是悉除旧法，令诸军为骑阵。达头闻之大喜，曰：“此天赐我也。”因下马仰天而拜，率精骑十余万而至。素奋击，大破之，达头被重创而遁，杀伤不可胜计，群虏号哭而去。优诏褒扬，赐缣二万匹，及万钉宝带。加子玄感位大将军，玄奖、玄纵、积善并上仪同。
素多权略，乘机赴敌，应变无方，然大抵驭戎严整，有犯军令者立斩之，无所宽贷。每将临寇，辄求人过失而斩之，多者百余人，少不下十数。流血盈前，言笑自若。及其对阵，先令一二百人赴敌，陷阵则已，如不能陷阵而还者，无问多少，悉斩之。又令三二百人复进，还如向法。将士股栗，有必死之心，由是战无不胜，称为名将。素时贵幸，言无不从，其从素征伐者，微功必录，至于他将，虽有大功，多为文吏所谴却。故素虽严忍，士亦以此愿从焉。
二十年，晋王广为灵朔道行军元帅，素为长史。王卑躬以交素。及为太子，素之谋也。
仁寿初，代高颎为尚书左仆射，赐良马百匹，牝马二百匹，奴婢百口。其年，以素为行军元帅，出云州击突厥，连破之。突厥退走，率骑追蹑，至夜而及之。将复战，恐贼越逸，令其骑稍后。于是亲将两骑，并降突厥二人，与虏并行，不之觉也。候其顿舍未定，趣后骑掩击，大破之。自是突厥远遁，碛南无复虏庭。以功进子玄感位为柱国，玄纵为淮南郡公。赏物二万段。
及献皇后崩，山陵制度，多出于素。上善之，下诏曰：君为元首，臣则股肱，共治万姓，义同一体。上柱国、尚书左仆射、仁寿宫大监、越国公素，志度恢弘，机鉴明远，怀佐时之略，包经国之才。王业初基，霸图肇建，策名委质，受脤出师，擒剪凶魁，克平虢、郑。频承庙算，扬旍江表，每禀戎律，长驱塞阴，南指而吴越肃清，北临而獯猃摧服。自居端揆，参赞机衡，当朝正色，直言无隐。论文则词藻纵横，语武则权奇间出。既文且武，唯朕所命，任使之处，夙夜无怠。献皇后奄离六宫，远日云及，茔兆安厝，委素经营。然葬事依礼，唯卜泉石，至如吉凶，不由于此。素义存奉上，情深体国，欲使幽明俱泰，宝祚无穷。以为阴阳之书，圣人所作，祸福之理，特须审慎。乃遍历川原，亲自占择，纤介不善，即更寻求，志图元吉，孜孜不已。心力备尽，人灵协赞，遂得神皋福壤，营建山陵。论素此心，事极诚孝，岂与夫平戎定寇比其功业？非唯廊庙之器，实是社稷之臣，若不加褒赏，何以申兹劝励？可别封一子义康郡公，邑万户，子子孙孙，承袭不绝。馀如故。
并赐田三十顷，绢万段，米万石，金钵一，实以金，银钵一，实以珠，并绫锦五百段。
时素贵宠日隆，其弟约、从父文思、弟文纪，及族父异，并尚书列卿。诸子无汗马之劳，位至柱国、刺史。家僮数千，**妓妾曳绮罗者以千数。第宅华侈，制拟宫禁。有鲍亨者，善属文，殷胄者，工草隶，并江南士人，因高智慧没为家奴。
亲戚故吏，布列清显，素之贵盛，近古未闻。炀帝初为太子，忌蜀王秀，与素谋之，构成其罪，后竟废黜。朝臣有违忤者，虽至诚体国，如贺若弼、史万岁、李纲、柳彧等，素皆阴中之。若有附会及亲戚，虽无才用，必加进擢。朝廷靡然，莫不畏附。唯兵部尚书柳述，以帝婿之重，数于上前面折素。大理卿梁毗，抗表上言素作威作福。上渐疏忌之，后因出敕曰：“仆射国之宰辅，不可躬亲细务，但三五日一度向省，评论大事。”外示优崇，实夺之权也。终仁寿之末，不复通判省事。上赐王公以下射，素箭为第一，上手以外国所献金精盘，价直巨万，以赐之。四年，从幸仁寿宫，宴赐重叠。
及上不豫，素与兵部尚书柳述、黄门侍郎元岩等入閤侍疾。时皇太子入居大宝殿，虑上有不讳，须豫防拟，乃手自为书，封出问素。素录出事状以报太子。宫人误送上所，上览而大恚。所宠陈贵人又言太子无礼。上遂发怒，欲召庶人勇。太子谋之于素，素矫诏追东宫兵士帖上台宿卫，门禁出入，并取宇文述、郭衍节度，又令张衡侍疾。上以此日崩，由是颇有异论。
汉王谅反，遣茹茹天保来据蒲州，烧断河桥。又遣王聃子率数万人并力拒守。素将轻骑五千袭之，潜于渭口宵济，迟明击之，天保败走，聃子慑而以城降。有诏征还。初，素将行也，计日破贼，皆如所量。帝于是以素为并州道行军总管、河北安抚大使，率众数万讨谅。时晋、绛、吕三州并为谅城守，素各以二千人縻之而去。谅遣赵子开拥众十余万，策绝径路，屯据高壁，布阵五十里。素令诸将以兵临之，自引奇兵潜入霍山，缘崖谷而进，直指其营，一战破之，杀伤数万。谅所署介州刺史梁修罗屯介休，闻素至，惧，弃城而走。进至清源，去并州三十里，谅率其将王世宗、赵子开、萧摩诃等，众且十万，来拒战。又击破之，擒萧摩诃。谅退保并州，素进兵围之，谅穷蹙而降，余党悉平。帝遣素弟修武公约赍手诏劳素曰：我有隋之御天下也，于今二十有四年，虽复外夷侵叛，而内难不作，修文偃武，四海晏然。朕以不天，衔恤在疚，号天叩地，无所逮及。朕本以籓王，谬膺储两，复以庸虚，纂承鸿业。天下者，先皇之天下也，所以战战兢兢，弗敢失坠，况复神器之重，生民之大哉！贼谅包藏祸心，自幼而长，羊质兽心，假托名誉，不奉国讳，先图叛逆，违君父之命，成莫大之罪。诳惑良善，委任奸回，称兵内侮，毒流百姓。私假署置，擅相谋戮，小加大，少凌长，民怨神怒，众叛亲离，为恶不同，同归于乱。朕寡兄弟，犹未忍及言，是故开关门而待寇，揖干戈而不发。朕闻之，天生蒸民，为之置君，仰惟先旨，每以子民为念，朕岂得枕伏苫庐，颠而不救也！大义灭亲，《春秋》高义，周旦以诛二叔，汉启乃戮七籓，义在兹乎？事不获已，是以授公戎律，问罪太原。且逆子贼臣，何代不有，岂意今者，近出家国。所叹荼毒甫尔，便及此事。由朕不能和兄弟，不能安苍生，德泽未弘，兵戈先动，贼乱者止一从，涂炭者乃众庶。非唯寅畏天威，亦乃孤负付嘱，薄德厚耻，愧乎天下。
公乃先朝功臣，勋庸克茂。至如皇基草创，百物惟始，便匹马归朝，诚识兼至。汴部郑州，风卷秋箨，荆南塞北，若火燎原，早建殊勋，夙著诚节。及献替朝端，具瞻惟允，爰弼朕躬，以济时难，昔周勃、霍光，何以加也！贼乃窃据蒲州，关梁断绝，公以少击众，指期平殄。高壁据岭，抗拒官军，公以深谋，出其不意，雾廓云除，冰消瓦解，长驱北迈，直趣巢窟。晋阳之南，蚁徒数万，谅不量力，犹欲举斧。公以棱威外讨，发愤于内，忘身殉义，亲当矢石。兵刃暂交，鱼溃鸟散，僵尸蔽野，积甲若山。谅遂守穷城，以拒鈇钺。公董率骁勇，四面攻围，使其欲战不敢，求走无路，智力俱尽，面缚军门。斩将搴旗，伐叛柔服，元恶既除，东夏清晏，嘉庸茂绩，于是乎在。昔武安平赵，淮阴定齐，岂若公远而不劳，速而克捷者也！朕殷忧谅闇，不得亲御六军，未能问道于上庠，遂使劬劳于行阵。言念于此，无忘寝食。公乃建累世之元勋，执一心之确志。古人有言曰：“疾风知劲草，世乱有诚臣。”公得之矣。乃铭之常鼎，岂止书勋竹帛哉！功绩克谐，哽叹无已。稍冷，公如宜。军旅务殷，殊当劳虑，故遣公弟，指宣往怀。迷塞不次。
素上表陈谢曰：臣自惟虚薄，志不及远，州郡之职，敢惮劬劳，卿相之荣，无阶觊望。然时逢昌运，王业惟始，虽涓流赴海，诚心屡竭，轻尘集岳，功力盖微。徒以南阳里闾，丰沛子弟，高位重爵，荣显一时。遂复入处朝端，出总戎律，受文武之任，预帷幄之谋。岂臣才能，实由恩泽。欲报之德，义极昊天。伏惟陛下照重离之明，养继天之德，牧臣于疏远，照臣以光晖，南服降枉道之书，春宫奉肃成之旨。然草木无识，尚荣枯候时，况臣有心，实自效无路。尽夜回徨，寝食惭惕，常惧朝露奄至，虚负圣慈。贼谅包藏祸心，有自来矣，因幸国哀，便肆凶逆，兴兵晋、代，摇荡山东。陛下拔臣于凡流，授臣以戎律，蒙心膂之寄，禀平乱之规。萧王赤心，人皆以死，汉皇大度，天下争归，妖寇廓清，岂臣之力！曲蒙使臣弟约赍诏书问劳，高旨峻笔，有若天临，洪恩大泽，便同海运。悲欣惭惧，五情振越，虽百殒微躯，无以一报。
其月还京师，因从驾幸洛阳，以素领营东京大监。以平谅之功，拜其子万石、仁行、侄玄挺皆仪同三司，赉物五万段，绮罗千匹，谅之妓妾二十人。大业元年，迁尚书令，赐东京甲第一区，物二千段。寻拜太子太师，馀官如故。前后赏锡，不可胜计。明年，拜司徒，改封楚公，真食二千五百户。其年，卒官。谥曰景武，赠光禄大夫、太尉公、弘农河东绛郡临汾文城河内汲郡长平上党西河十郡太守。给辒车，班剑四十人，前后部羽葆鼓吹，粟麦五千石，物五千段。鸿胪监护丧事。帝又下诏曰：“夫铭功彝器，纪德丰碑，所以垂名迹于不朽，树风声于没世。故楚景武公素，茂绩元勋，劬劳王室，竭尽诚节，协赞朕躬。故以道迈三杰，功参十乱。未臻遐寿，遽揖清徽。春秋递代，方绵岁祀，式播雕篆，用图勋德，可立碑宰隧，以彰盛美。”素尝以五言诗七百字赠番州刺史薛道衡，词气宏拔，风韵秀上，亦为一时盛作。未几而卒，道衡叹曰：“人之将死，其言也善，岂若是乎！”有集十卷。
素虽有建立之策及平杨谅功，然特为帝所猜忌，外示殊礼，内情甚薄。太史言隋分野有大丧，因改封于楚。楚与隋同分，欲以此厌当之。素寝疾之日，帝每令名医诊候，赐以上药。然密问医人，恒恐不死。素又自知名位已极，不肯服药，亦不将慎，每语弟约曰：“我岂须更活耶？”素贪冒财货，营求产业。东、西二京，居宅侈丽，朝毁夕复，营缮无已。爰及诸方都会处，邸店、水硙并利田宅以千百数，时议以此鄙之。子玄感嗣，别有传。诸子皆坐玄感诛死。 约字惠伯，素异母弟也。在童儿时，尝登树堕地，为查所伤，由是竟为宦者。性好沉静，内多谲诈，好学强记。素友爱之，凡有所为，必先筹于约而后行之。在周末，以素军功，赐爵安成县公，拜上仪同三司。高祖受禅，授长秋卿。久之，为邵州刺史，入为宗正少卿，转大理少卿。
时皇太子无宠，而晋王广规欲夺宗，以素幸于上，而雅信约。于是用张衡计，遣宇文述大以金宝赂遗于约，因通王意，说之曰：“夫守正履道，固人臣之常致，反经合义，亦达者之令图。自古贤人君子，莫不与时消息，以避祸患。公之兄弟，功名盖世，当途用事，有年岁矣。朝臣为足下家所屈辱者，可胜数哉！又储宫以所欲不行，每切齿于执政。公虽自结于人主，而欲危公者固亦多矣。主上一旦弃群臣，公亦何以取庇？今皇太子失爱于皇后，主上素有废黜之心，此公所知也。今若请立晋王，在贤兄之口耳。诚能因此时建大功，王必镌铭于骨髓，斯则去累卵之危，成太山之安也。”约然之，因以白素。素本凶险，闻之大喜，乃抚掌而对曰：“吾之智思，殊不及此，赖汝起予。”约知其计行，复谓素曰：“今皇后之言，上无不用，宜因机会，早自结托，则匪唯长保荣禄，传祚子孙，又晋王倾身礼士，声名日盛，躬履节俭，有主上之风，以约料之，必能安天下。兄若迟疑，一旦有变，令太子用事，恐祸至无日矣。”素遂行其策，太子果废。
及晋王入东宫，引约为左庶子，改封修武县公，进位大将军。及素被高祖所疏，出约为伊州刺史。入朝仁寿宫，遇高祖崩，遣约入朝，易留守者，缢杀庶人勇，然后陈兵集众，发高祖凶问。炀帝闻之曰：“令兄之弟，果堪大任。”即位数日，拜内史令。约有学术，兼达时务，帝甚任之。后数载，加位右光禄大夫。
后帝在东都，令约诣京师享庙，行至华阴，见其兄墓，遂枉道拜哭，为宪司所劾，坐是免官。未几，拜淅阳太守。其兄子玄感，时为礼部尚书，与约恩义甚笃。既怆分离，形于颜色，帝谓之曰：“公比忧瘁，得非为叔邪？”玄感再拜流涕曰：“诚如圣旨。”帝亦思约废立功，由是征入朝。未几，卒，以素子玄挺后之。
文思字温才，素从叔也。父宽，魏左仆射，周小冢宰。文思在周，年十一，拜车骑大将军、仪同三司、散骑常侍。寻以父功，封新丰县子，邑五百户。天和初，治武都太守，十姓獠反，文思讨平之，复治翼州事。党项羌叛，文思率州兵讨平之。进击资中、武康、隆山生獠及东山獠，并破之。后从陈王攻齐河阴城，又从武帝攻拔晋州，以勋进授上仪同三司，改封永宁县公，增邑至千户。寿阳刘叔仁作乱，从清河公宇文神举讨之，战于砖井，在阵生擒叔仁。又别从王谊破贼于鲤鱼栅。其后累以军功，迁果毅右旅下大夫。高祖为丞相，从韦孝宽拒尉迥于武陟。迥遣其将李围俊怀州，与行军总管宇文述击走之。破尉敦，平邺城，皆有功，进授上大将军，改封洛川县公。寻拜隆州刺史。开皇元年，进爵正平郡公，加邑二千户。后为魏州刺史，甚有惠政，及去职，吏民思之，为立碑颂德。转冀州刺史。炀帝嗣位，征为民部尚书。转纳言，改授右光禄大夫。从幸江都宫，以足疾不堪趋奏，复授民部尚书，加位左光禄大夫。卒官，时年七十。谥曰定。初，文思当袭父爵，自以非嫡，遂让封于弟文纪，当世多之。
文纪字温范，少刚正，有器局。在周袭爵华山郡公，邑二千七百户。自右侍上士累迁车骑大将军、仪同三司、安州总管长史。将兵迎陈降将李瑗于齐安，与陈将周法尚军遇，击走之。以功进授开府，入为虞部下大夫。高祖为丞相，改封汾阴县公。从梁睿讨王谦，以功进授上大将军。前后增邑三千户。拜资州刺史。入为宗正少卿，坐事除名。后数载，复其爵位，拜熊州刺史。改封上明郡公。除宗正卿。兼给事黄门侍郎，判礼部尚书事。仁寿二年，迁荆州总管。岁余，卒官，时年五十八。谥曰恭。
史臣曰：杨素少而轻侠，俶傥不羁，兼文武之资，包英奇之略，志怀远大，以功名自许。高祖龙飞，将清六合，许以腹心之奇，每当推彀之重。扫妖氛于牛斗，江海无波；摧骁骑于龙庭，匈奴远遁。考其夷凶静乱，功臣莫居其右；览其奇策高
文，足为一时之杰。然专以智诈自立，不由仁义之道，阿谀时主，高下其心。营构离宫，陷君于奢侈；谋废冢嫡，致国于倾危。终使宗庙丘墟，市朝霜露，究其祸败之源，实乃素之由也。幸而得死，子为乱阶，坟土未干，阖门殂戮，丘陇发掘，宗族诛夷。则知积恶馀殃，信非徒语。多行无礼必自及，其斯之谓欤！约外示温柔，内怀狡算，为蛇画足，终倾国本，俾无遗育，宜哉。