1861年4月,陳玉成率軍3萬人進至安慶外圍戰略要地集賢關,逼近圍城的曾國荃部。與此同時,天王洪秀全鑒於安慶吃緊,決定調干王洪仁玕、章王林紹璋會合桐城、廬江一帶的吳如孝部共2萬餘人,進至安慶北面的新安渡、橫山鋪、練潭一帶,連營15公里,謀與陳部會師,共解安慶之圍。
4月29日,陳玉成與城內守將葉芸來分別率部紮營於安慶城東北的菱湖南北兩岸,並以小艇溝通兩岸聯繫,同時運糧入城。為鞏固城內防守,5月1日英王陳玉成派部將吳定彩率1000餘名精銳從菱湖大營突入安慶城內,自己則督軍向圍城湘軍展開攻擊,城內守軍在葉芸來率領下亦向湘軍發起反擊。雙方在城外激戰一天,勝負未分,太平軍傷亡較大,未能取得任何進展。
5月2日,陳玉成率軍再次進攻。洪仁玕、章王林紹璋和吳如孝所部也同時向湘軍挂車3防線發起突破。湘軍多隆阿(唯一與湘軍鮑超齊名的猛將,多龍鮑虎)部近萬人分四路反撲,以三營步兵正面接戰,五營步兵從側翼攻擊,又以騎兵迂迴到太平軍背後猛攻。太平軍前後受敵,處境不利,洪、林所部又多是新募之兵,臨陣驚慌,故而大敗,傷亡很大,洪仁玕、林紹璋、吳如孝只好率軍退守桐城。5月3日,自蕪湖來援的太平軍定南主將黃文金部7000餘人(黃文金後封堵王,三年後在湖州會戰中將大放異彩)和捻軍2萬餘人趕到,紮營與桐城東南的天林庄一帶與湘軍對峙。
對於各路太平軍先後集結於安慶外圍,曾國藩等人也決心投入更大兵力與之決戰。他曾告誡部將說:「安慶目前關係淮南之全局,將來即為克複金陵之張本,」「迅克安慶,大局乃有挽回之日,金陵乃有恢復之望。」確定了堅持但求力破安慶一關,此外決不計於爭奪式的方針。為此,曾國藩將湘軍悍將鮑超部(湘軍第一名將,無敗跡,尹隆河戰役一戰打趴捻軍(太平新軍))5000人自景德鎮調往江北,自己則移營至江邊上的東流就近指揮。坐鎮太湖的胡林翼也調總兵成大吉部5000人赴援安慶,並提出了「南遲北速」的作戰方針,即打洪仁玕、林紹璋等部宜速(戰鬥力較弱),打陳玉成部宜遲、宜慎重。一時間安慶外圍戰雲密布,雙方在安慶及其周圍形成犬牙交錯的陣線,形勢極為複雜。安慶會戰已經發展到超出爭奪一城的意義,成了雙方主力的一場大決戰。雙方都意識到此戰是一場生死存亡的大搏鬥,太平軍失敗,天京就失去了最後的重要屏障,太平天國日落西山的形勢將無可挽回;湘軍如果失敗,不僅安慶包圍圈被打破,安慶城下的湘軍主力極可能全軍覆沒。因此雙方在此都橫下一心,必欲死爭安慶,畢其功於一役。