段伯宇青少年時期即積極投身于轟轟烈烈的五四運動。1938年8月加入中國共產黨。1946年4月打入國民黨最核心的軍事機關“總統府軍務局”。在中共中央上海局策反委員會領導下，他參與組織了震動中外的國民黨預備干部總隊、傘兵三團等部起義，有力支持了渡江作戰和寧滬杭地區的解放，為中國人民解放事業作出了特殊貢獻。
光榮加入中國共產黨
1904年7月，段伯宇出生于河北省蠡縣孟嘗村。從10歲起，他在天津覺民學校學習，在那里度過了6年讀書時光，受到愛國主義的熏陶。在半殖民地半封建社會的舊中國，帝國主義的侵略和封建統治的黑暗腐朽，促使段伯宇思想上積極追求進步。五四運動爆發后，在周恩來領導下，他積極參加天津市學生游行，和2000余名學生一起，走上街頭宣傳演講，歷數北洋政府賣國投降罪行。在運動中，段伯宇受到馬克思主義的啟蒙，對反對帝國主義和封建軍閥的斗爭有了切身的感受和理解。
在河北大學就讀期間，段伯宇認識了中共黨員戴培元，在其指導下開始閱讀馬克思主義著作。大學畢業后，他在太原開辦了近3年診所，接觸進步人士，閱讀了大量馬克思主義著作。他在離診所不遠的地方開了一家新書店，宣傳社會主義思想，公開出售進步書籍，被山西軍閥閻錫山通緝。1936年，他在保定開辦進步書報社，宣傳抗日救國主張。1937年9月，日寇占領保定，段伯宇率領數人赴太行山投奔八路軍未果，在衣食無著、孤立無援的情況下，參加了國民黨第32軍。
1938年6月，段伯宇借口探親請假轉道西安赴延安，進入中國人民抗日軍事政治大學，并提出入黨申請。8月初，段伯宇回到長沙32軍集訓地。該軍中共地下黨員王興剛約他談話，他匯報了去延安學習的經過，并再次提出入黨請求。不久，王興剛鄭重通知段伯宇，組織已同意吸收他入黨，由他做介紹人。2天后，由中共湖南省委聶洪鈞同志領誓，在岳麓山腰小土地廟前，段伯宇入了黨。段伯宇向聶洪鈞匯報了多年尋找黨組織的艱難曲折，經過整整14年才加入了組織。聶洪鈞安慰段伯宇，并強調了黨的紀律，告訴他在國民黨統治區工作要特別注意加強組織觀念，時刻牢記自己是一名共產黨員，嚴守黨的秘密。段伯宇下定決心，以黨員的標準嚴格要求自己。
在周恩來教導下開展地下斗爭
1938年底，因國民黨整編32軍干訓團被解散，段伯宇想回華北參加抗戰。1939年初，段伯宇輾轉來到重慶，向八路軍重慶辦事處報到。組織上決定段伯宇留在重慶開展工作，公開職務是國民黨戰地黨政委員會視察員，任務是調節國共糾紛，以利于團結抗戰。段伯宇做了大量工作，為黨組織收集了不少有價值的情報。
不久，周恩來接見了段伯宇。周恩來勉勵他做好國民黨上層的統戰工作，通過他們影響和推動蔣介石抗日。周恩來語重心長地叮囑段伯宇，充分利用在國民黨任職的有利條件，團結進步勢力，爭取中間勢力，反對反動派。在國民黨統治區工作，工作方針就是在最不利的情況下，爭取有利的可能，并盡力轉變為現實。周恩來的教導，使段伯宇深受教育和感動。
1939年底，國民黨頑固派反共活動不斷擴大，不斷制造軍事摩擦。段伯宇參加了戰地黨政委員會組織的視察團，赴山東、河北等地，調查國共摩擦情況。段伯宇親眼目睹了國民黨頑固派一手挑起的反共摩擦，搜集了不少確鑿證據。段伯宇的所做所為引發了國民黨頑固分子的強烈不滿。戰地黨政委員會新任秘書長斥責他“吃國民黨的飯，為共產黨說話”，并下令將他關了禁閉。
打入國民黨“總統府軍務局”
為便于在國民黨軍隊開展工作，段伯宇于1943年10月考入國民黨陸軍大學。學習期間，他廣泛聯系愛國進步同學，為以后開展工作準備條件。1946年3月，蔣介石以校長名義到陸軍大學主持畢業典禮，并召見了段伯宇。段伯宇畢業后，在弟弟段仲宇推薦下，被分配到“總統府軍務局”第四科從事軍事情報工作，很快在軍務局站穩腳跟，先后任少將情報科長、高級參謀。
有了這樣的工作崗位，段伯宇面臨的首要任務是為黨工作。1946年5月，他得知周恩來率領的中共代表團進駐南京梅園新村，與國民政府進行談判，便想方設法與代表團取得聯系。但國民黨特務機關加緊對中共代表進行監視和控制，代表團駐地周圍布滿形形色色的特務，“空氣中布滿特務的眼睛”，段伯宇始終無法接近。
正當段伯宇急切地尋找黨組織時，他在值班時檢查文件檔案，偶然見到一個塵封很久的木匣，打開一看，全是國民黨中央通訊社收集的中共中央文件和毛澤東等中央領導同志的報告、講話，頓時非常興奮。這些文件是軍務局為研究共產黨對策而收集和保管的，段伯宇爭取到了機會，經常學習研究，了解了黨的基本方針和政策，為開展黨的地下工作提供了依據和指南。
團結愛國將領武裝反蔣
抗戰勝利后，中國共產黨為爭取和平民主作出巨大努力。但蔣介石集團違背全國人民的意愿，撕毀政協協議，發動全面內戰。在此情況下，段伯宇積極團結國民黨愛國將領，反對蔣介石的內戰政策。段伯宇在陸軍大學學習期間團結的一批有愛國思想的進步同學，先后分配到國民黨軍事政治機關工作。段伯宇經常以座談、聯誼、聚餐等形式向他們表明自己對時局的看法，揭露蔣介石背叛孫中山三大政策、勾結美帝國主義、反共反人民的真相，以事實說明打內戰不得人心。段伯宇的這些思想工作，引起了一些同學的深思和共鳴，他們對蔣介石倒行逆施的不滿與日俱增。這為后來組織武裝反蔣奠定了思想基礎。
1948年9月，國民黨軍10萬余人在濟南戰役中被殲滅，蔣介石以大城市為主的“重點防御”體系開始崩潰。1948年11月，正在軍務局上班的段伯宇突然接到時任國民黨國防部預備干部局代局長賈亦斌的電話，約他到家中商談。到會的主要是段伯宇陸軍大學的同學。大家爭論不已，紛紛表達對蔣介石發動內戰、國民黨貪污腐化和四大家族壟斷金融搜刮民脂民膏的不滿，認為國民黨失去民心、敗局已定，不能和其同歸于盡，商議在南京發動暴動。段伯宇聽到同學們的意見，既感到突然，又很高興。他經過審慎的思考，認為既不能潑冷水，也不能盲動。他向大家了解了能調動的部隊情況，對大家講了自己的意見。他表示：“第一，十分同情同學們的義舉，但我們能調動的部隊無幾，南京有重兵駐守，我們的行動無異以卵擊石，如暴露了自己，則非常不利。第二，我們要反蔣，是革命行動，但絕不能盲動，應當有組織、有計劃、有領導地搞。第三，我們要掌握武裝，積蓄力量，待機行動。”段伯宇冷靜理智的分析，大家一致表示同意。這次會議后，段伯宇立即行動，約弟弟段仲宇和陸軍大學同學宋光烈等分別談話，通報情況，布置工作。宋光烈聯系了國民黨106軍軍長王修身、96軍軍長于兆龍。段仲宇聯系了愛國將領齊國榰、王海嶠等人。經過多方工作，到1948年冬，段伯宇聯系和約定準備參加起義的國民黨部隊計有10萬余人，分布在西起蕪湖，經南京、常州、上海，東至嘉興、杭州的廣闊區域。
發展黨的組織
在策劃和實施武裝反蔣的過程中，段伯宇一直加緊尋找黨組織，以獲得黨的指示和領導。1948年底，段伯宇借病脫離軍務局，到上海集中全力做軍運工作。段伯宇委派一位同志到河南解放區尋找黨組織，又通過他在同濟大學讀書的表弟、中共黨員溫尚煜的幫助，聯系上了中共中央上海局策反委員會書記張執一。段伯宇詳細匯報了自己的經歷和工作情況，張執一對段伯宇獨立開展地下工作并取得出色成績，給予了高度評價。
張執一認為，段伯宇動員和爭取掌握部隊的工作事關重大，需要專人聯系。1949年元旦，他介紹李正文和段伯宇聯系。李正文非常認真負責，幾乎每天到寶山路1號段伯宇住處，反復研究商議起義計劃和行動步驟。段伯宇把準備參加起義的國民黨部隊高級將領賈亦斌、劉農畯、段仲宇、宋健人、王海嶠等人分別介紹給李正文，談了他們的工作情況和部隊的兵力、駐地情況。段伯宇、李正文深深感到，加強黨組織的領導是起義成功的關鍵。為了加強與參加起義的國民黨部隊的聯系，段伯宇建議派黨的同志到部隊。經中共中央上海局策反委員會同意，選派張文藻到預備干部總隊，周其昌到傘兵第三團，王聲明到工兵第四團，陳景明到江蘇保安總隊，積極建立地下黨支部，開展宣傳和組織工作，起義準備工作進入更緊張的運作階段。
1949年2月，李正文向段伯宇傳達了上海黨組織關于恢復其組織關系的決定。黨組織對段伯宇的肯定與關懷，使他倍加感動和振奮。他向黨組織介紹賈亦斌、劉農畯、宋健人、段仲宇入黨并獲批準。通過段伯宇等人的努力，切實加強了黨對起義行動的領導。
參與組織部隊起義，支持渡江作戰和解放寧滬杭地區
為策應解放軍渡江，段伯宇等在中共中央上海局領導下加緊籌備工作。上海局有關同志認為江浙皖大規模起義計劃目前條件尚不成熟，即使加上我黨所掌握的其他所有準備起義的部隊一起起義，也難以成功。而在這時，接連發生的突發事件，迫使賈亦斌領導的國防部預備干部總隊和劉農畯領導的傘兵三團不得不提前起義。
中共中央上海局策反委員會對賈亦斌領導的預備干部總隊起義特別重視。這支部隊是國民黨多年來苦心經營的王牌。如果它在國統區的心臟地區起義，政治影響將無可估量。李正文、段伯宇、賈亦斌等人對預備干部總隊的起義時機和方法等作了詳細研究，取得了共識。賈亦斌在聯絡員張文藻的協助下，在官兵中進行愛國主義教育，揭露國民黨統治集團的反動腐敗，宣傳中國共產黨的政策。1949年4月7日凌晨，賈亦斌毅然決然地率領官兵，制服了反對起議的副大隊長黎天鐸和其他幾個軍官，以去莫干山行軍演習的名義，把部隊拉出去，嘉興起義爆發了。蔣介石暴跳如雷，痛斥蔣經國“無能”“用人失策”。他急調優勢兵力，設下重重包圍和堵截線，并懸賞5萬銀元緝拿賈亦斌。起義部隊在賈亦斌等帶領下，浴血奮戰，終因力量懸殊，寡不敵眾，部隊被打散。起義雖然失敗了，但這一“從蔣家的心窩里反出來”的正義行動，粉碎了蔣介石成立新軍的計劃，極大瓦解了國民黨部隊士氣。
以劉農畯為團長的國民黨傘兵第三團，也是蔣介石十分重視的嫡系部隊。蔣介石在軍事上不斷失利，在準備逃往臺灣的前夕，曾親自召見劉農畯談話，企圖調傘兵第三團去臺灣。段伯宇約請李正文、劉農畯、段仲宇等共同商討，決定將計就計，讓劉農畯率領傘兵第三團打著奉蔣介石之命撤退到臺灣的幌子，一出海就改變航向，直奔我解放區連云港。中共中央上海局批準了傘兵三團的起義計劃。為保證起義計劃順利進行，段仲宇調撥了一艘排量3000噸的“中字102號”美式大型坦克登陸艇，交付劉農畯接管。1949年4月15日，傘兵團在連云港登陸，起義人員受到熱烈歡迎。中共中央很重視這支部隊的起義，毛澤東主席和朱德總司令發來慰勉電報：“慶祝你們脫離國民黨反動集團而加入人民解放軍的英勇舉動，希望你們努力于政治上和技術上的學習，為建設中國的新傘兵而奮斗。”
以王海嶠為團長的國防部工兵第四團是國民黨軍中配備最精良的重型工兵團。蔣介石和國防部多次命令該團撤往廣州。李正文、段伯宇、段仲宇和王海嶠等經過研究，決定采取以空間換時間的辦法，表示服從命令向廣州撤退，但實際上一再拖延調動。他們根據當時國民黨軍事運輸緊張的形勢，將工兵團3個營用逐次移防的辦法散布在浙贛路千里鐵路線上。這些笨重的筑路機械設備和機車車輛在鐵路上形成障礙物，千方百計造成鐵路堵塞和交通癱瘓，使蔣軍南調部隊無法通過。國防部一再催促，毫無結果，便通緝王海嶠“貽誤軍機，定于嚴辦”。王海嶠完成任務后，偕同聯絡員王聲明飛往香港后轉赴解放區。
段伯宇參與組織的國民黨部隊起義及配合解放工作，為解放戰爭勝利貢獻了力量。新中國成立后，段伯宇在黨的領導下，為社會主義建設繼續埋頭工作，在外交、黨建、對臺工作和科學研究事業等方面，都作出了重要貢獻。