遇了三个方面的困难，第一方面是殷海光本人的，殷海光是《自由中国》的首席余孽，他要出书，“十目所视，十手所指”，自不消说；第二方面是我本人的，我在文星兴风作浪，给文星带来极大的压力和麻烦，自己作孽之不足，还要勾结余孽，双料出书，“廿目所视，廿目所指”，也不消说；第二方面是文星内部的，文星虽然是进步的书店，但是还没进步到要甘愿赔钱的程度。“杀头生意有人做，赔钱中意没人做”，给殷海光出书，出到后来，简直已是又杀头又赔钱的玩意，劝说文星主人萧孟能出版指日可禁之朽，是需要费些力气的，虽然萧孟能礼贤下士，但冥冥中老板老板娘“四目所视、四手所指”的画面，却也不可不知、也不可个稍为人家设想。殷海光是不怎么通人情的书生，我调剂其中，希望出书第一，不要枝枝节节因小失大，这种苫心，我想殷海光和萧孟能都不尽知道。例如出版《中国文化的展望》，我为了给殷海光较高的稿费，就在萧孟能肯出的槁费之上，暗中自己贴了不少钱，此中调剂，当事人不知也。
殷海光有一封给何友晖的信，中有一段自道他和我的为人：
李敖从前托人告诉我，说我“为人应世笨拙不堪”。我想他的话是有相当道理的。第一，他为人应世比我灵巧得大多；第二，他跟人接触，最根本的着眼点就是自卫，因此他总先假定人是坏的。我的自卫意识远落在求真精神之后。我跟人接触时，尤其是跟青年接触时，常不假定他别有用意，除非确有明证来证明他是别有用意的，我不轻易下这样的判断。
可是，等到有了明证时，我已经吃亏了。然而，我无悔，我并不因此对人类绝望。一个理想主义者常常不免要为他的理想付出这类吃亏的代价的。我们没有决定性的理由（decisive reason）来断言这个地球上没有真诚的人。我们可以碰，也可以寻找，与我们共心通灵的人。我想你们在香港可能交接到不少朋友。当然，时至今日，仅靠言词不足以知人，我们还得在共同的工作里交友。
在时过境迁以后多年，回想大家“在共同的工作里交友”，萧孟能确是真诚帮助他的出版家，因为以殷海光当时的处境，这样年复一年的支援，确属难能可贵。萧孟能虽然与我反目，但他做的好事，不应埋没－李敖为人侠骨柔情、恩怨分明，也由此可见一斑吧？至于殷海光说的“仅靠言词不足以知人”，这倒真正有感我心。殷海光“为人应世笨拙不堪”，但是真正笨拙之尤的，乃在于他专门被他“仅靠言词”的学生所欺所卖。殷门弟子与殷海光的关系，多是“单向会”、多是靠他提拔而不能有像样反馈的，他们在殷海光生前死后，投奔彼党者有之、投奔宿敌者有之、冒充传人者有之、拿他做演讲会纪念品者有之……但他们除了“仅靠言词”之外，从未对殷海光援之以手。殷海光一生寻与他“共心通灵”的人，结果找到的，多是“仅靠言词”的学生骗子耳！这真是他的悲哀！
他“为人应世笨拙不堪”，还可举例以明：此公爱书成寐，有一次他看一本Arisiotle（亚里士多德）的著作，他女儿殷文丽过来，他就教文丽念Aristotle这个字，没想到文丽正在换牙，没有门牙，念到totle，口水应声而出，喷到书上，殷海光大叫：“哎哟！哎哟！”急忙掏手帕擦口水。多好笑呀！还有，此公一辈子只打过四次电话（至多四次），有一次他太太教他如何打，把他带到公用电话旁，替他把号码拨好，对方说话，才递给他。殷海光紧握听筒，满头大汗，打完了，要昏倒的样子。他太太赶忙抓住他，发现两手冰冷、两眼发直，好一阵子才恢复正常。再谈他的鲜事。有一天，他和政大的另一书呆夏道平教授，忽然要开洋荤，跑进观光饭店喝咖啡，咖啡厅在十二楼，他们就进入电梯，可是很久很久还不到，空气闷得难过。殷海光说：“这么久了，即使一百二十层也该到了。”于是紧张起来，还是夏道平聪明，他看电梯墙上有许多阿拉伯数字，就乱按了一个，门突然开了，原来还在一楼！两人得庆重生，吓得不敢再坐电梯，决定走楼梯上去。走到二楼，就发现没有上三楼的楼梯了，只好又下一楼。殷海光说：
“我们到别家去，何必一定要在这里。”夏道平说：“不行，既来了，一定要找到。”于是两人四处去找，找至一座有人开的电梯，总算到了咖啡厅，不巧那天咖啡厅休息。两人只好再摸索到另一较的房子，一进去，发现都是一对对情侣，两个老头也顾不得了，挤进坐下。看到一位歌手正在边弹边唱，夏道平碰碰殷海光，大声说：“你看，是真的人在唱歌呢！”
殷海光虽然“为人应世笨拙不堪”，但仍处处不忘自己是高级知识分子，从他生活细节上，也可看到一斑。他从不坐公共汽车，他认为人的尊严会给挤掉；他喝高级咖啡，吃英国饼干，去贵族医院看病……这些都表示他也满布尔乔亚的。
另一方面，他除了不大会用电话机、不会用自动电梯外，要替人做衣服的殷太太向人收两种工钱－有钱的人要多付，没钱的要少付……这些都表示他也满书呆的一面。以这样层次的知识分子，来了解人间万象与真相，当然要受到很多限制。殷海光虽然天姿英明，但在生活面上和人事面上，却很容易被投其所好、被小人利用。我举一个例子。《自由中国》停刊以后，殷海光对国民党的厌恶更深了，一个人只要同他骂国民党，他便轻易相信这个人。有一次，台肥六厂图书室请我讲演，我认为来者不善，拒绝了；他们改请殷海光，我劝他不要去，他被封锁已久，还是去过瘾了。讲完了，一个人走过来，向他大骂国民党，立刻谈得投机起来。后来登门拜访殷海光，殷海光还把《自由中国》编辑胡虚一介绍给这陌生人。牵累到胡虚一身陷黑牢，原来那陌生人是卧底的！殷海光就是这样容易被钓的人！农村小孩钓青蛙只要用根线，往草里一放，青蛙就咬住不放，全身暴露而出。殷海光容易被小人利用，也正如此。雷震也犯同样的毛病。我同殷海光玩笑性地表示过：“你们的为人最容易被小人包围，你们搞政治，若当了政，恐怕小人当道的情形，更要严重呀！”
在我写《老年人和棒子》发表后，不久就发生了“中西文化论战”。文德（陈宏正）在《殷海光教授年谱简编》中说：
“在文化论战中，李敖独得盛名，但殷却背着黑锅。”因为“西化派中殷的学生李敖、许登源、洪成完攻击胡秋原，引起胡秋原的误会，以为西化派是殷在背后策动”。以致殷海光“以后被胡秋原、徐高阮连续不停地施以人身攻击，对其后迫害殷不能在台大授课，形成一大压力与不利环境”。这段内幕，殷海光留下一篇回忆－《我被迫离开台湾大学的经过》，其中说：
在论战中，胡秋原君知识上的短缺，思想上的混乱，被我的一，群学生指破。尤其是他参加“闽变”的往事，被李敖君指出。这一下使他的名流声威扫地。他痛心疾首之余，认为系我在背后策动，于是在《中国杂志》上参加徐君对我的围攻。这二位先生的言论，充满对我的污蔑、毒骂及构陷，但却伊然为学术尊严及自由民主而仗义执言。标榜历史文化儒家道德的某君（李敖按：徐复观也），则从旁助威……
……本年上学期末，各校发现一种宣言，不知是哪儿来的。宣言的内容主要的是批驳费正清等在美国国会证词，说他们“助匪”、“犯罪”。照我看来，这篇文章可算官方雇用文入的写作精华。彼等立论，完全是从一个政权的利益出发，罔顾世界大势。其实，费正情等人的言论，意在保全台湾。台湾这个小岛，若不是美国第七舰队保卫，恐怕早在一九五0年便“陷共”了，还有什么“反攻”空话可说？复次，这一宣言表面系“自由签名”，实际则为一“忠贞检查”。在台湾住了十几年的人，面对这一签名运动心里都有数，如不签名将被疑为不忠于某党政权，这样的人将蒙种种不便，甚至有打破饭碗的危险。在台湾这种形态的绝对主义的统治之下，谁不怕麻烦？在台湾这个饭碗难找的岛上，谁不怕打破饭碗？
于是而有一千四百位文化工作者签名的盛举。我因为一方面认为那一宣言的内容幼稚可笑，另一方面我尤其憎恶那种“间接强迫”的作风，所以拒绝签名。后来校方一高级党务人员亲自来舍劝签，仍然被我拒绝！
于是，多年累积的问题爆发了！
殷海光说“一千四百位文化工作者”的抗议宣言“不知道是哪儿来的”，但在十三年后，“哪儿来的”终于水落石出。一九七九年三月，国防部总政治部属下的黎明文化事业股份有限公司，出版了一本红皮烫金的《慎师七十文录》，是庆祝曹敏七十生日的一本专集，其中有一篇《胡秋原先生序》，我看了以后，才疑团尽解。胡秋原在序中回忆：
我是一个几乎没有所谓“社交”生活的人，与党政方面人士尤其少有个人的往来，所以我与曹慎之先生原不相识。
一九六二年，郑学稼先生和我因为一个同我们两人有投稿与书业往来的书店，在所谓文化论战后忽然对我们两人先后送红帽子，我们便先后对那书店及其作者提出诽谤案之诉讼，法院合并审理。这种官司在中国原很少见，所以开始之时旁听的人不少。当时一般朋友对郑先生与我的批评大抵是“修养不够”，“不上算”，甚至于说“好事”；只有三个人同情我们的遭遇，经常到法院旁听，这便是任卓宜、曹慎之、徐高阮三位先生。任先生是我们两人的老朋友，徐先生则因我而认识郑先生，曹先生那时与郑先生在国防部的一个研究部门同事，他是因郑先生而去，于是我在法庭开始认识慎之。
这一透露，告诉了我们：在胡秋原、郑学稼告文星的讼案一开始，曹敏便以与郑学稼“在国防部的一个研究部门同事”的身份，微妙的介入了。胡秋原又说：
当官司尚在进行之时，到一九六六年，美国国会为越战举行听证，费正清、巴奈特趁机主张讨好中共以解决越战。有一天，慎之邀约我和学稼、高阮三人，主张写一封对美国人民公开信，结果有一千数百人签名的公开信在《纽约时报》发表，一时发生相当大的影响。此我与慎之合作之一事。
这一透露，又告诉了我们：“当官司尚在进行之时”，曹敏已经“邀约”胡秋原、郑学稼、徐高阮共同合作为国民党秘密搞文宣。据一九六六年七月三日《联合报》，当时新闻局长沈剑虹曾在立法院内政委员会报告施政说：“台湾学人教授一千六百余人驳斥美国姑息分子费正清之流的谬论，曾于五月发表《致美国人民一封公开信》，已由‘新闻局’译成英文，现已洽妥《纽约时报》，于近日内连同签署者一千六百余人名单在该报刊登／可见国防部总政治部黑势力之大，大到可以自行作业，然后叫行政院新闻局到美国报上买广告的程度！胡秋原说他们“写一封对美国人民公开信，结果有一千数百人签名的公开信在《纽约时报》发表，一时发生相当大的影响”。事实上，“一时发生相当大的”，不是影响而是丑闻�