苏东坡一次对他弟弟说：“我上可以陪玉皇大帝，下可以陪卑田院乞儿。在我眼中天下没有一个不是好人。”现在他就和默默无名的读书人、匹夫匹妇相往还。和这些老实人在一起，他无须乎言语谨慎，他可以完全自由，可以名士本色示人。他从没有一天没有客人，若是没人去看他，他会出去看邻居。像以前在黄州一样，他与身份高身份低的各色人，读书人、农夫等相交往。闲谈时，他常是席地而坐。他只是以闲谈为乐。但是他也愿听别人说话。他带着一条海南种的大狗“乌嘴”，随意到处游逛。和村民在槟榔树下一坐，就畅谈起来。那些无知的穷庄稼汉，能对他说什么呢？庄稼汉震于他的学识渊博，只能说：“我们不知道说什么。”苏东坡说：“那就谈鬼。好，告诉我几个鬼故事。”那些人说并不知道什么有趣的鬼故事。苏东坡说：“没关系，随便说你听到的就行。”后来苏过告诉他的朋友说，他父亲若一天没有客人来，他就觉得父亲好像不舒服。
甚至于在如此地远天偏的地方， 那群政敌小人也不让他安静消停。 绍圣三年（一0 九六）是迫害老臣雷厉风行的一年。在绍圣四年（一0 九七），快到旧年除夕了，两个元佑大官在十天之内先后死亡，情况可疑。在春天，那两个官员的子女也遭监禁，老太后的秘书也处了死刑。所有遭贬谪的官员，都又调迁地方。那年夏天遭到调迁的官员之中，有苏子由、秦观、郑侠，我们还记得郑侠就是献图推翻王安石的宫门小吏。
三月，神奇道士吴复古，又在海南岛出现，和苏东坡住了几个月。他带来的消息是，朝廷派董必来视察并报告受贬谪的大臣的情形，如有必要，再弹劾起诉。那时檐州隶属广西省。最初朝廷打算派吕升卿到广西（吕升卿是恶迹昭彰的元佑大臣的死敌吕惠卿的弟弟）。对苏氏兄弟说，吕升卿一来，他俩不死也要脱层皮。但是曾布和另一个官员劝阻皇帝，说吕升卿必不能从公禀报，必致激起私仇大恨。那样，朝廷就是超乎极端了。因此一劝，吕升卿改派到广东，董必派到广西。果不出所料，董必找出了纸漏，他说苏子由强占民房，雷州太守厚待罪臣并善予照顾。太守乃遭撤职，苏子由改调到惠州以东地区，当年苏东坡曾谪居在那里。
董必要自雷州半岛到海南，就如瘟神下降，但是他的副手彭子明对他说：“别忘记你也有子孙。”董必听了遂停止不去，只派下属过海，察看苏东坡的情形。那个官员发现苏东坡住在官舍里，颇受太守张中优待，张中后来遂遭革职。
苏东坡被从官舍逐出，必须用仅有的一点钱搭个陋室居住。他住的地方是城南一个椰子林。当地的居民，尤其是那些穷读书人的子弟，来亲自动手帮助他盖房子。那是一栋简陋的房子，面积是五间大，但大概只盖了三间。他名此新居“槟榔庵”。房后就是槟榔林。夜里躺在床上，能听见黎民猎鹿的声音，鹿在那个地区为数甚多。有时早晨有猎人叩门。以鹿肉相赠。在五月他给朋友写信说：“初至做官屋数椽，近复遭迫逐。不免买地结茅，仅免露处。而囊为一空。困厄之中，何所不有？置之不足道，聊为一笑而已。”
苏东坡很少恨别人，但他至少不喜爱董必。他必须向把自己赶出屋去的这个朝廷官员开个玩笑。“必”字在中文其音同鳖。他写了一篇寓言，最后提到鳖相公。有一次，东坡喝醉，这篇故事就这样开始。有鱼头水怪奉龙王之命，前来把东坡拉往海中。他去时身穿道袍，头戴黄帽，足登道履，不久便觉行于水下。忽然雷声隆隆，海水沸腾。突然强光一闪，他发现自己已经站在水晶宫中。像普通所说的龙宫一样，龙宫中有好多珠宝、珊瑚、玛消，其它宝石等物，真是精工点缀，琳琅满目。不久，龙王盛装而出，二宫女随侍。苏东坡问有何吩咐。不久，龙后自屏风后出来，递给他一块绢，有十尺长，求他在上面写诗一首。对苏东坡而言，再没有比作诗容易的事。他在绢上画了水国风光和水晶宫的霞光瑞气。他写完诗，各水中精灵都围着看。虾兵蟹将莫不赞美连声。鳖相公当时也在。他迈步走出，向龙王指出东坡诗内有一个字，是龙王的名字，应当避圣讳。龙王一听，对苏东坡大怒。苏东坡退而叹曰：“到处被鳖相公厮坏！”
苏东坡写了三四个寓言故事，但是中国文人写的想象故事，直到宋时代才真有发展，苏东坡写的也和唐宋寓言作家一样，都是明显的道德教条加上微薄的一点想象而已。
在他自己盖了几间陋室之后的两年半期间，他过的倒是轻松自在的日子，只是一贫如洗而已。他有两个颇不俗气的朋友，一个是为他转信的广州道士何德顺，另一个是供给他食物、药物、米、咸菜的谦逊读书人。夏天的热带海岛上，因为潮湿的缘故，人是很受煎熬。苏东坡只有静坐在椰子林中，一天一天的数，直到秋季来临为止。秋季多雨，因为风雨大多，自广州福建来的船只都已停航。食粮不继，连稻米都不可得。苏东坡真个一筹莫展。在哲宗元符元年（一0 九八）冬天，他给朋友写信说他和儿子“相对如两苦行僧尔。”那年冬天，一点食物接济也没有，父子二人直有饥饿之虞。他又采用煮青菜的老办法，开始煮苍耳为食。
他曾在杂记中写食阳光止饿办法，不知是否认真还是俚戏。人人知道，道家要决心脱离此一世界时，往往忍饥不食而自行饿死。苏东坡在杂记《辟谷之法》中说了一个故事。他说洛阳有一人，一次坠入深坑。其中有蛇有青蛙。那个人注意到，在黎明之时，这等动物都将头转向从缝隙中射的太阳光，而且好像将阳光吞食下去。此人既饥饿又好奇，也试着模仿动物吞食阳光的动作，饥饿之感竟尔消失。后来此人遇救，竟不再知饥饿为何事。苏东坡说：“此法甚易知易行，然天下莫能知，知者莫能行者何？则虚一而静者世无有也。元符二年，倪耳米贵，吾方有绝食之忧，欲与过行此法，故书以授。四月十九日记。”
实际上，苏东坡不必挨饿，他的好朋友好邻居也不会让他挨饿，他似乎是过得满轻松。有一天，他在头上顶着一个大西瓜，在田地里边唱边走时，一个七十多岁的老太婆向他说：“翰林大人，你过去在朝当大官，现在想来，是不是像一场春梦？”此后苏东坡就称她“春梦婆”。他有时在朋友家遇到下雨，就借那家庄稼汉的斗笠蓑衣木屐，在泥水路上溅泥淌水而归。狗见而吠，邻人大笑吼叫。他一遇有机会，还继续用下漫步的老习惯。有时他和儿子到六里以外西北海边，那里有一块巨大的岩石，像一个和尚面海而望。好多船在那里失事，本地人就说那块岩石有什么灵异。那块岩石下面，长了许多荔枝橘子树。在那里正好摘水果吃。但是倘若有人打算摘得吃不了，要带着走，立刻就风涛大作。
苏东坡一向对僧人很厚道，但是他不喜欢信州一带的和尚，因为他们有妻子，并且和别的女人有暧昧情事。住在增州时，他曾写文章讽刺此事。那篇文章的题目是《记处于再生事》。据说是真有其人。那篇文章如下：
予在增耳，闻城西民处于病死两日复生。予与进士何畏往见其父问死生状。云初昏若有人引去至官府。帘下有言：“此误追。”庭下一吏云：“此无罪，当放还”。见狱在地窟，现隧而出，入系者皆僧人，僧居十之六七。有一担身皆黄毛如驴马，械而坐。处子识之，盖增僧之室也。日：“吾坐用檀越钱物，已三易毛矣。”又一僧亦处于邻里，死二年矣。其家方大祥，有人持盘飨及数千钱付某僧。僧得钱分数百遣门者，乃持饭入门，系者皆争取其饭，僧所食无几。又一僧至，见者皆擎膝作礼。僧日：“此女可差人送还。”送者以手掌墙壁便过，复见一河，有舟便登之，进者以手推之，舟跃，处子惊而寐。是僧岂所谓地藏菩萨者也？书之以为世戒。
这几年，过是父亲时刻不离的伴侣。据苏东坡说，像过那样好儿子实在是至矣尽矣，蔑以加矣。他不但做一切家中琐事，也是父亲的好秘书。在如此高明的父亲指导之下，过很快便成了诗人画家。在苏东坡的三个儿子之中，过成了一个有相当地位的文学家，他的作品已然流传到今日。他遵守父命，受了父亲当年在祖父教导下的教育。他有一次将唐书抄写一遍，藉资记忆。此后，又抄写汉书。苏东坡博闻强记，他把读过的这些古史每一行都记得。有时他倚在躺椅上听儿子诵读这些书，偶尔会指出某些古代文人生平的相似细节，而评论之。
他们颇以无好笔好纸为苦，但仅以手中所有的纸笔，过也学着画些竹石冬景。大概二十年后，过到京都游历，在一座寺院里小停，几个宫廷中的兵卒忽然到来，抬着一顶小轿，要他进宫陛见徽宗皇帝。苏过完全不知是何缘故，只得遵命。一进轿，轿帘子即刻放下，所以他看不见是往何处去。轿上无顶，有人持一大阳伞遮盖。他觉得走得很快，大概过了四五里，到了一个地方。他走出轿来，见自己立在走廊之下，有人过来引他到一座极美的大殿。他一进去，看见皇帝坐在里面，身穿黄袍，头戴镶有绿玉的帽子。皇帝周围有一群宫女环绕，穿得极为艳丽。他觉得那样美的宫女为数不少，但是不敢抬头看。当时虽然是六月，殿中极为清凉。屋里有巨大冰块堆积，点燃的妙香气味弥漫在空气之中。他想自己必是在一座宫殿里。施礼问安毕，皇帝对他说：“我听说你是苏轼之子，善绘岩石。这是一座新殿，我希望你在墙壁上绘画，因此请你前来。”苏过倒吸了一口气。徽宗自己就是一位大画家，他的作品至今仍在。苏过再拜之后，开始在墙壁上作画，这时皇帝离座下来，站着看他动手。画完之后，皇帝再三赞美。告诉宫女送苏过美酒一杯，还有好多珍贵礼品。苏过自御前退出之后，又在走廊之下乘轿出宫，在路上仍然轿帘低垂。到家之后，刚才的经历，恍愧如梦。
岛上难得好墨，苏东坡自己试制。苏过后来说他父亲险些把房子烧掉。这个故事与杭州一名制墨专家有关系。这家制墨人所卖的墨价高出别家两三倍，他说他是在海南岛跟苏东坡学的制墨秘法。有些文人向苏过打听他父亲制墨的方法。苏过笑道：“家父并无何制墨秘诀。在海南岛无事时，以此为消遣而已。一天，名制墨家潘衡来访，家父即开始和他在一间小屋里制墨。烧松脂制黑烟灰。到半夜，那间屋子起了火，差点儿把房子烧掉。第二天，我们从焦黑的残物中弄到几两黑烟灰。但是我们没有胶，父亲就用牛皮胶和黑烟灰混合起来。但是凝固不好，我们只得到几十条像手指头大的墨。父亲大笑一阵。不久潘先生走了。”不过，在苏过叙述这件往事时，潘衡这家商店的墨已经很好了。显然是他从别人学得的制墨秘诀，而不是跟苏东坡学的，而只是藉苏东坡的名气卖墨而已。
现在苏东坡空闲无事，却养成到乡野采药的习惯，并考订药的种类。他考订出来一种药草，在古医书上是用别的名字提到过，别人从未找到，而他发现了，自然十分得意。在他写的各医学笔记中，有一种药可以一提，那就是�