荣禄与翁同龢之间的矛盾，实际上是源于晚清时期军机处的「南北之争」。所谓南北之争，则是指的军机处中以李鸿藻为首的北派和以沈桂芬为首的南派，在关于政治和利益之间的斗争。

荣禄与李鸿藻为盟兄弟，在立场之上属于北派。但是，荣禄因为由于恩荫上位，并且曾经主持修建维护皇家园陵，因此得到了两宫太后的赏识，自此进入了晚清决策圈。不过，也正是因为此出身，导致荣禄的政治经验不足，以至于在之后的政治派系斗争中被人摸透了老底，逐出了北京的政治圈子。

光绪四年，荣禄突然被开去内务府大臣与工部尚书的职位，受到了人生中第一次大的政治打击。究其原因，与南北之争不无关系。由于荣禄北派背景，在某日，贵州巡抚出缺，荣禄便借机想把南派领袖沈桂芬逐出京城，变向慈禧太后进言建议让沈桂芬出任贵州巡抚。但是沈桂芬为军机大臣，朝中要员，因此此言一出便受到了南派的抵制。随即作罢。

之后，沈桂芬便准备著手查这件事情是谁做的。他怀疑是翁同龢在背后捅刀子。翁同龢察觉到了是荣禄所为，因此便去荣禄那里探听口风。在此时，荣禄与翁同龢的关系还是不错的，甚至有传言说这二人也是盟兄弟。翁同龢冲著荣禄把沈桂芬骂了一通，荣禄觉得翁同龢是一伙的，所以就把此事告知翁同龢。翁同龢随即告诉沈桂芬，沈桂芬率领一众南派，参奏荣禄，荣禄也因此丢掉了内务府大臣和工部尚书的职位。

这是荣禄在初入官场之后的第一次打击。之后，翁同龢与荣禄的关系也闹掰。自此之后，荣禄也深知政治圈子的复杂，从而在一段时间内寄情山水直至甲午战争。而翁同龢则一路官运亨通，最终入职军机处。不过荣禄与翁同龢自此，便除了过年过节，同僚间的婚丧嫁娶之外，再无交集，直至荣禄在甲午战后复出。