榮祿與翁同龢之間的矛盾，實際上是源於晚清時期軍機處的「南北之爭」。所謂南北之爭，則是指的軍機處中以李鴻藻為首的北派和以沈桂芬為首的南派，在關於政治和利益之間的鬥爭。

榮祿與李鴻藻為盟兄弟，在立場之上屬於北派。但是，榮祿因為由於恩蔭上位，並且曾經主持修建維護皇家園陵，因此得到了兩宮太后的賞識，自此進入了晚清決策圈。不過，也正是因為此出身，導致榮祿的政治經驗不足，以至於在之後的政治派系鬥爭中被人摸透了老底，逐出了北京的政治圈子。

光緒四年，榮祿突然被開去內務府大臣與工部尚書的職位，受到了人生中第一次大的政治打擊。究其原因，與南北之爭不無關係。由於榮祿北派背景，在某日，貴州巡撫出缺，榮祿便藉機想把南派領袖沈桂芬逐出京城，變向慈禧太后進言建議讓沈桂芬出任貴州巡撫。但是沈桂芬為軍機大臣，朝中要員，因此此言一出便受到了南派的抵制。隨即作罷。

之後，沈桂芬便準備著手查這件事情是誰做的。他懷疑是翁同龢在背後捅刀子。翁同龢察覺到了是榮祿所為，因此便去榮祿那裡探聽口風。在此時，榮祿與翁同龢的關係還是不錯的，甚至有傳言說這二人也是盟兄弟。翁同龢沖著榮祿把沈桂芬罵了一通，榮祿覺得翁同龢是一夥的，所以就把此事告知翁同龢。翁同龢隨即告訴沈桂芬，沈桂芬率領一眾南派，參奏榮祿，榮祿也因此丟掉了內務府大臣和工部尚書的職位。

這是榮祿在初入官場之後的第一次打擊。之後，翁同龢與榮祿的關係也鬧掰。自此之後，榮祿也深知政治圈子的複雜，從而在一段時間內寄情山水直至甲午戰爭。而翁同龢則一路官運亨通，最終入職軍機處。不過榮祿與翁同龢自此，便除了過年過節，同僚間的婚喪嫁娶之外，再無交集，直至榮祿在甲午戰後復出。