小，个人这一生能对浩如烟海的社会的不合理与黑暗有一点点小改革，这就很不容易了，做了一件，再做第二件，总比大而无当一事无成的乱吵一辈子来得好。③
这段自谦之语简直不像是性情狂傲的李敖所说，但这正是他于苦难中在思想上打磨的结果。
他的这种思想并非一时心血来潮。一方面，在大学时代他的毕业论文就是关于宋代婚姻方面的论题，关于婚姻的有关资料早已是他搜集的一项重要内容；另一方面则出自读书中的启发，在军中，他曾阅读了大量的中西方这方面的著作，如心理学、社会学等方面的内容；当然还有一个很重要的方面，就是在他内心深处潜意识中为排解性苦闷而对此类材料所产生的那种微妙的亲和感，这些因素都促使他一次又一次地下决心要在这方面有所成就。
在他的写作计划中，他曾拟下过许多题目，如《现阶段男女关系的分析和调适》、《裸体画问题》、《论强奸》、《中国残忍史》、《论没有拒奸的自由》、《张竞生传》、《中国性史》、《从〈性心理学〉（上）看中国历史》、《中国历史的性心理学研究》等等，从这些内容可以看出，尽管在他的潜意识中埋藏着难以自抑的性苦闷与性渴望的因素，但在他对社会及历史上的性问题展开思考时，已经远远地超越了个人的表层体验，而是真正地把它当作一种文化现象来考究了。由性趣而导致研究的兴趣，不能不说是一种欲望的升华。通过这些活动，他缓解了过度的精神压抑，那种心理学家常讲的“利比多”的潜力亦有所归缩，本能的要求亦得到相当的满足，使其与周围的环境能够相融共存，成为鼓动高尚情绪的原动力，产生趋向庄重严肃的结局。李敖在１１月１９日给朋友的信中说：
对“性”的问题的看法不正常，是我们这个民族的一大病症。自古以来，我们的祖宗从来就未曾对性的问题有一个好办法，礼法与道德的教条，并未给人们带上正途，反倒招致了许多恶果；设想一个荒谬的贞节观念害了多少人！一个畸形的审美观念（如束胸、缠足、柔弱）害了多少人！一个野兽文学的作品（如“金瓶梅”、“肉蒲团”）害了多少人！……①
他认为作为一个能“救时弊、造新因”的新时代的文人，应该把精力放在立言上（立德与立言是一类），应该从小问题做起，由小及大，以致对社会产生全面的影响。而他要解决的“小问题”便是与“性”有关的一切社会问题。他在日记中写道：“一部分一部分来，先来个婚姻问题五年计划。五年间专搞此问题，专攻此一系列、此一类之书。”②“昨曾与胡、吴言我欲治心理学，夜读性心理学益增此意，吾志已决，决心致力于ｓｅｘ之研究。潘序及赫理斯促成了我这种决定。”③李敖此一阶段的思考便是他后来完成的一篇篇惊世骇俗的文章的雏形，如《中国小姐论》和中西文化论战中的《论“处女膜整形”》等等。
在１９６０年年底他又在日记中自订写作计划：“今晚与珂大谈写《中国性史》计划，为之眉飞色舞，我意我定不会长寿，期以一年，速成此帙，期于惊世骇俗而至于不朽。我想暂不写杂七杂八的文字而‘集火’先成此书，退伍后即思绝游闭户开笔著此书。众人呼呼入睡，我灯下写此段日记，这是我一生中极重要的一段想法与计划，而我从今晚起，决定努力以赴了！”④几十年后，李敖出版了他的《中国性研究》。读了这部十多万字的性文化著作，许多人奇怪为什么李敖竟写了那么多关于性方面的研究文章，而且再俗的话题他都能写得有一定的学术味道，把人们难以在公众场合启齿的话题放到学术平台上解剖，实乃惊人之举，以致于坊间把这些文章收集起来专集成书出版，他在这方面的用心实自大学、军队时就已经开始。李敖上大学时，胡适曾对他说过这样一句话：“无心插柳，尚且成荫；有意栽花，当然要发。”这话用到李敖身上，着实不虚。
李敖不仅记住了胡适的话，而且脚踏实地地去做了。
李敖还在军中写出了大量的文学作品，其中有译诗、白话诗、仿古诗、小说、散文等，最能代表他此时文学成绩的是他的散文《妈妈的梦幻》。这篇作品深受台湾女作家林海音赏识，在１９６０年１１月２０日《联合报》副刊发表。作品虽然写于作者的青年时代，但从中可以看出李敖的艺术才华和造诣。作品选取了妈妈一生中的五个片断，前后跨越了三十多年的时间，但语言的表述和结构的安排极其自然。最令人难忘的是作者含蓄而质朴的语言，比如：“在外祖母专政的第１９个年底，一辆黑色的灵车带走了这个令人敬畏的老人。”“爸爸执政第八年的一个清晨，妈妈在流泪中接替了家长的职位。”既道出了亲人的去世给全家带来的悲痛，又保持了作品整体氛围上轻松舒缓的一致性，写得哀而不伤。孟子说：“引而不发，跃如也。”正因如此，平实的语言背后充溢着说不尽的文化底蕴。至于在人物的刻划上，作者往往采用活用词语的方法，比如写外祖母时用了“独裁”、“侵权”、“专政”等词语，写爸爸时，用了“外戚的势力”、“以在野之身，任意发挥宪法上第十一条所赋予的权利”、“历数爸爸的十大罪”等短语，写妈妈时用了“妇女会”、“发布新闻”、“主权”、“错认时代的潮流而开倒车”等词语和短语，这种大词小用的方法造成了词语与语境的疏离，使语言在陌生化的搭配中，在不谐调中呈现出诙谐幽默的审美效果。①
李敖的朋友景新汉在来信中说：“我一向以为，在台湾报端写‘方块文章’的人，当推写‘黑白集（联合报）’的钟鼎文为个中翘首，何凡、言曦、方以直都不是‘个儿’，至于凤兮、茵茹（耿修业）已经是第七八流了，现在我发现，如果你去做这种事，当是钟某人的唯一敌手，而你在文字里所表现的气势，则非彼所能及者。”①李敖以其深厚的旧文学修养和学识的广博为基础，率尔为文，便能超凡脱俗。他能从旧东西里发掘丰厚的营养，创造出充满了文化底蕴的优美作品，这正是他的出手不凡之处。
１９６１年１月２６日下午４时，李敖所在的部队全团离开了仁武防区，开始了又一次长距离拉练。部队步行四小时到高雄港，夜十时登上了一艘老式运输舰，次日抵马公岛接受将官校阅，然后直达澎湖。上岸后又步行四小时抵达白沙岛东北的大赤，在那里驻扎１１天之后，２月６日，李敖从澎湖退伍。
一年半的军营生活终于结束了。回首一年有半的酸甜苦辣，李敖充满了感慨：
一年半前，带着失望的心情我走出大学，进入军队；一年半后，带着解脱的心情我退伍归来，重返文明。回首前尘，深感军队生活更凝固了我的思想与悍气，因为不是国民党党员，我在野战部队中吃过一般预备军官不太容易吃到的苦，可是我很坚强。一年半从戎投笔的生涯在我的生命里掺进新的酵素，它使我在突然间远离了学院、远离了书卷、远离了跟民间脱节的一群。在军队生活里，我接触到中国民间质朴纯真的一面，而这些质朴与纯真，在我出身的“高等学府”里，早已是教科书上的名词。这段经验使我愈来愈感到大学教育的失败，在退伍归来，我写着：“教育好像是一架冷冻机，接近它的时间愈久，人就变得愈冷淡。太多的理智恰像泰戈尔形容的无柄刀子，也许很实际很有用，可是太不可爱了！”虽然如此，我还是得回来，待从头收拾“冷冻机”，不退却。①
这段军人生活在他思想上留下了永远难以磨灭的印记，他的思想、情感、性格、人格都因此而更加趋于成熟。
站在军舰的炮塔旁，遥望碧波万里，海鸥高翔，那隐现于薄雾中的台湾岛幻化成一个勇士驰骋的疆场。
“十年如未死，一飞可冲天。”他忘不了自己少年时代立下的宏愿。
从“四席小屋”到新店山居
１９６１年２月６日，李敖从澎湖退伍，回到了台中古城——这个充满了“缠人的旧梦”的地方。
小城洁静的街道依旧，清澈的河水依旧，铁砧山上的郑成功雕像，宝觉寺内悬挂的巨钟，一切都是老样子，但李敖已变。他已不是十年前那个初涉世事的惨绿少年了。山地的太阳、澎湖的海风和肉体的磨炼已使他变得一身英气，沉稳而干练。
此时已是腊月二十二，“尾牙”早过，过年的气氛已经浓起来了。街上到处都是采购年货的人群，大小商店则披红挂彩，以大幅广告招揽顾客。明天就是百姓祭灶的日子，走在熟悉的小街上，已能看到大红大绿的灶王神像和甲马了。那甲马上的画物自与大陆风俗不同，宋代吴自牧《梦粱录》记载：“二十三日，不以穷富皆备蔬食饧豆祀灶”。那“饧”就是软糖，是用来粘灶王爷的嘴，希望他“上天言好事，回宫降吉祥”的“豆”则是为驮灶王上天的马匹备的马料。而李敖眼前的甲马画里，则有了靴、帽、衣甲、刀杖、弓箭等物，李敖不禁哑然失笑，台湾人比大陆人想得真是周到多了。把自己的命运系于那一张薄薄的画纸上，李敖感到实在荒唐。
过了腊月二十四，家家户户便开始大扫除了。卖春联的人也在街头摆上了摊子，除了靠手艺能赚点钱外，这也是他们施展身手的好机会。看着那些老头儿老太太手捧红红绿绿的对联喜盈盈地往家赶，谁都会感觉到年关的脚步真的越来越近了。
就在家家户户忙着迎新年吃年糕的时候，李敖一直在为自己的谋职奔忙。他很希望得到一个中学教师的职位，但经过多方努力还是落空了。他心中暗想，自己惟一的出路只有去做姚从吾先生的助理了。这份工作虽然薪水不多，但毕竟能使自己的经济困窘得到一些缓解。解决了烦人的经济问题，报考历史研究所也就比较从容了。
腊月二十六，他的同学萧启庆来信转达了姚从吾的嘱咐，让他不必着急北上，可以年后再去。于是他在家中开始了上班前的准备工作，洗澡，理发，整理资料，并且买来了木工工具，与同学商量到台北后如何住宿才省钱。
大年初一这一天，当人们穿着花团锦簇的新衣走街串巷拜年道福的时候，李敖已难耐这种“走春”的热闹，下午四点，在同学的相送下踏上了北去的列车。临走时，母亲给了他二百元钱，并送他四个橘子，三姐夫送他一张快车票（５４．５元），就这样只身来到台北，又回到了台湾大学。
两天后，他在台湾大学西侧的新生南路找到一间房子，与同学李善培隔壁。这是那种老式的对排木屋，地点在该路３段６０巷１号，月租２２０元。此时的李敖，生活全靠借钱维持，其困窘可想而知。
小屋只有四个榻榻米大，矮得双手不能向上举，李敖定名为“四席小屋”。
李敖和善培合买了１５０块钱的木头，两人