１９２７年大革命失敗后，林育南在湖北轉入地下斗爭，先后任中共湖北省委常委兼宣傳部部長、中共湖北省委代書記。１９２７年底赴上海，任中共滬東區(qū)委書記。１９２９年１１月在上海參與籌備第五次全國勞動大會，他繼續(xù)被選為全國總工會執(zhí)委會委員，任編輯委員會負責人、秘書長，主持日常工作。１９３０年起林育南任全國蘇維埃區(qū)域代表大會中央準備委員會秘書長。

１９３１年１月１７日，林育南同何孟雄、李求實等在上海被國民黨反動當局逮捕。在獄中，林育南經(jīng)受住了敵人的嚴刑拷打，寧死不屈，對黨忠誠，同敵人進行堅決斗爭，保持了共產(chǎn)黨員的堅定立場和崇高品格。１９３１年２月７日，林育南與何孟雄等２４位共產(chǎn)黨員與革命者，在上海龍華英勇就義，時年３３歲。