１９２７年１月，３０歲的劉謙初正式加入中國(guó)共產(chǎn)黨。也是在這一年，劉謙初遇到了自己的革命伴侶——時(shí)任中共京山縣委副書記、２４歲的張文秋。兩人懷揣著共同的革命理想，又被彼此人格魅力所吸引。在武漢親友的家中，兩人舉行了簡(jiǎn)單的婚禮。

大革命失敗后，白色恐怖籠罩全國(guó)。劉謙初根據(jù)黨的指示，先到江蘇省委工作，后經(jīng)上海去福建。１９２８年９月，在福建省第一次黨代會(huì)上，他被選為中共福建省委書記。１９２９年初，黨中央調(diào)他到山東工作，以齊魯大學(xué)助教身份作掩護(hù)。

面對(duì)險(xiǎn)惡環(huán)境，他把個(gè)人生死置之度外，常常冒著危險(xiǎn)，來(lái)往于濟(jì)南、青島等地，夜以繼日地工作，傳達(dá)黨中央的指示，宣傳鼓舞群眾，揭露敵人罪行，組織對(duì)敵斗爭(zhēng)，很快恢復(fù)、重建和發(fā)展了被破壞的黨組織，重新組成中共山東省委，并擔(dān)任省委書記兼宣傳部長(zhǎng)。１９２９年７月，他按黨中央的指示，和青島市委的同志一起，領(lǐng)導(dǎo)和發(fā)動(dòng)了持續(xù)４０多天的青島大康、隆興和富士等七大紗廠的總同盟大罷工，給反動(dòng)當(dāng)局和日本帝國(guó)主義以沉重打擊。

１９２９年８月６日，劉謙初經(jīng)青島赴上海向黨中央?yún)R報(bào)工作時(shí)，不幸被捕入獄。在國(guó)民黨濟(jì)南警備司令部監(jiān)獄里，面對(duì)敵人的威逼利誘、嚴(yán)刑拷打，他不為所動(dòng)，從未屈服。在生前寫給妻子張文秋的遺書中，他說(shuō)：“望你不要為我悲傷，希你緊記住我的話，無(wú)論在任何條件下，都要好好愛(ài)護(hù)母親！孝敬母親！聽(tīng)母親的話！”

１９３１年４月５日，在刑場(chǎng)上，劉謙初戴著沉重鐐銬，高唱《國(guó)際歌》，高呼“中國(guó)共產(chǎn)黨萬(wàn)歲”等口號(hào)，慨然就義。

位于平度田莊鎮(zhèn)東劉家莊的劉謙初故居，按照原貌已進(jìn)行了多次修葺，現(xiàn)在是青島市愛(ài)國(guó)主義教育基地、山東省重點(diǎn)文物保護(hù)單位。每年清明時(shí)節(jié)，當(dāng)?shù)氐闹行W(xué)師生都會(huì)來(lái)到這里，追思緬懷英烈的光輝歷程。今年１月１２日，故居還被確定為第三批山東省黨史教育基地。