园址原为明朝万历丁未状元黄士俊宅第，明万历三十五年，顺德杏坛镇人黄士俊高中状元，官至礼部尚书、大学士。为了光宗耀祖，于明天启元年，在城南门外的凤山脚下修建了黄家祠和天章阁、灵阿之阁。后黄家衰落，庭院荒废，清乾隆年间，当地龙氏碧鉴海支系21世龙应时得中进士，将天章阁、灵阿之阁购进。
该院归龙家后，由龙应时传与其子龙廷槐和龙廷梓，后来廷槐、廷梓分家，庭院的中间部分归龙廷槐，而左右两侧为龙廷梓所得。其中龙廷梓将归他的左、右两部分庭院建成以居室为主的庭园，称为“龙太常花园”和“楚芗园”，人们俗称左、右花园，南侧的龙太常花园在园主衰落后，卖给了曾秋樵，其子曾栋在此经营蚕种生意，挂上“广大”的招牌，故又称广大园。
应时长子龙廷槐字澳堂，大良人氏，于清乾隆五十三年考中进士，曾任翰林院编修，候补御史。嘉庆五年辞官南归，筑园奉母。嘉庆十一年，其子龙元任请了江苏武进进士，书法家李兆洛书写了“清晖园”三字书余园的正门上方，以喻父母之恩如日光和煦照耀。其后，经廷槐之子龙元任，孙龙景灿，曾孙龙诸慧一门数代的继续精心营建，几经修改加工，至民国初年，全园格局始臻定型。抗日战争期间，龙氏家人避居海外，庭院日趋残破。
其次，清晖园内水木清华，幽深清空，景致清雅优美，龙家故宅与扩建新景融为一体，利用碧水、绿树、吉墙、漏窗、石山、小桥、曲廊等与亭台楼阁交互融合，造型构筑别具匠心，花卉果木葱笼满目，艺术精品俯仰即拾，集古代建筑、园林、雕刻、诗画、灰雕等艺术于一体，突显出中国古典园林庭院建筑中“雄、奇、险、幽、秀、旷”的特点。
主要景点清晖园主要景点有船厅、碧溪草堂、澄漪亭、六角亭、惜阴书屋、竹苑、斗洞、狮山、八角池、笔生花馆、归寄庐、小蓬瀛、红蕖书屋、凤来峰、读云轩、沐英涧、留芬阁等，造型构筑各具情态，灵巧雅致，建筑物之雕镂绘饰，多以岭南佳木花鸟为题材，古今名人题写之楹联匾额比比皆是，大部分门窗玻璃为清代从欧洲进口经蚀刻加工的套色玻璃制品，古朴精美，品味无穷。
在花木配置方面，园内花卉果木逾百种，除了岭南园林常用的果树，还栽种了苏杭园林特有的紫竹、枸骨、紫藤、五针松、金钱松、七瓜枫、羽毛枫等，并从山东等地刻意搜集了龙顺枣、龙瓜槐等北京树种，品种丰富，多姿多彩，其中银杏、沙柳、紫藤、龙眼、水松等古木树龄已有百年有余，一年四季，葱茏满目，与古色古香之楼阁亭榭交相掩映，徜徉其间，步移景换，令人流连忘返。
进门为竹苑，穿过右边假山，便是“归寄庐”清晖园的主体建筑是船厅，它是仿照珠江画舫“紫洞艇”建筑的两层楼舫。船厅前有两口池塘，似将楼船浮在水中，船尾有丫环楼，船头栽有一株沙柳，柳边有一紫藤，犹如一条缆绳。每逢阳春三月，绽出朵朵紫蓝色小花，香气袭人。船厅后边，还有一株白木棉树，以其花淡黄近白而称奇，因为木棉树一般开红花。另有一棵百年银杏，单株结果，也很奇特。
园林景色入口清晖园的荷塘南角有一小门厅，这便是古时清晖园的入口。既是从古时清晖园的原入口开始作一番探访。从华盖里直街横折，走一段路程，便可来到古时清晖园门前。门厅上至今还悬挂着一块清代书法大家何绍基题写的“清晖园”牌匾，牌匾古朴，“清晖园”三字笔力遒劲，实为大家风范，仰慕之情不禁油然而生。
澄漪亭进入园门，再出稍显狭促的门厅,趁步连廊依墙一段，景象豁然顿开，纵目四顾，己身处澄漪亭挑廊之上。推窗望去：一方荷塘清凉扑面，三两飞燕掠碧而去；六角亭凌波依卧，两水松作亨哈耸立；船厅傲首北面，据岸久泊候佳人款步登临，花亭举翼在东，邀拱石树杪浑然入画。再看水中：百龄龙眼树如巨椽大伞遮蔽房舍，又将投影把池面刷上大片墨绿，平生出习习凉意。低头细看：水质清澄，游鳞翔底；水面风静，微泛涟漪。岸边花枝含风，蕉叶弄影，碎撒池中湮映，忽如一阵粤音入耳，脑际间又多出些岭南水乡弥漫的情愫。
碧溪草堂池廊六角亭与碧溪草堂之间以池廊相接，此亭多半是当年龙氏老母、小姐及女眷活动之处。亭边设有"美人靠",既可“常倚曲阑贪看水”，也宜凭栏玉立，体味荷塘听雨任东风的情愫。池廊上的每道横梁都雕有精美的菠萝、杨桃、香蕉等岭南佳果，散发出浓郁的南粤风土气息。再看亭柱楹联书的是：“跨水架楹黄篱院落，拾香开镜燕子池塘”，恰可解六角亭“解释春风无限恨，沉香亭北倚栏杆。”之风情。
船厅沿池廊直出即抵达船厅。船厅也叫旱船、舫、不系舟，是中国园林模仿画舫的特有建筑，船厅的前半部多三面临水,船首常设有平桥与岸相连,类似跳板，令人处身其中宛如置身舟楫的效果。清晖园的船厅纯为旱船，相传是模仿昔日珠江紫洞艇建成，它与惜阴书屋真砚斋南楼组群，借一带廊旱桥连通，以百年紫藤相系，曲折通道两侧饰以水波纹，船舫神形已是具毕。船厅为二层楼屋，据说原是小姐绣阁，绣阁与南楼形成船的前舱后舱。在船厅门正面，雕有绿竹数竿，厅内花罩镂空成两排芭蕉图案。值得注意的是蕉下石头上雕刻得栩栩如生的蜗牛，犹如白石老人阔笔泼墨枝叶之后再精勾细勒飞虫，在左顾右盼的视觉大餐之后，再注目这毫纤小物，不由顿生另一番奇趣。
花亭沿荷池东去，又是一种风光：曲径逶迤欲左先右，石引飞虹欲上先下；漫步寻芳迷眼目，闲庭信步过石荆，带一袖花香来到花亭下。“亭者，停也”园林中每一亭轩既与其它景点成对景，又是一个值得停留的赏景点。花亭景象果然不同：近者苔侵石岸绿水漾落花红，远者曲廊连堂榭修墙衬垂柳；莺歌燕舞令人不禁寻章摘句，煦日和风搜肠拍脑却是对花无语。虽然不能在此石阑点笔梧叶题诗，却是最能激发创造灵感的去处。遥想当年龙家进士，也曾在“花亭”下觅佳构，“笔生花馆”著华章。
花亭在结构上颇有特点，为了使亭内仰视平面与四角攒尖灰塑瓦顶风格一致，达到归隐脱俗的意境，免却常见的彩绘天花、藻井，而采用“不露望砖木椽者，覆以板纸，”被计成称为“仰尘”，李笠翁称为“顶格”的做法。游清晖园，也可以看出园主对高节虚心的竹有着独特的崇敬，园内多处都有“岁寒三友”之一的形象。或是借物咏志，园主还嫌不够，又在庭园深处南楼后另辟一院落，名为“竹苑”竹苑地幅狭长，却广植修篁。竹影婆娑应风入，蝉呜短长景更幽；巷院尽处，玲珑壁山迥峰卷云，袖珍眼泉甘冽清甜；左厢是“笔生花馆”，进士秉烛伏案妙笔生花，右厢是“归寄庐”，龙氏卸任闲赋聊寄卧龙庐。
归寄庐清晖园占地面积不大，走完“归寄庐”、“小蓬瀛”院落就算游完了清晖园，但是，路已走完，其意并未尽矣。园林表层的艺术境界是“诗情画意”，如诗之绝句词之小令，以少胜多；构园如图之册页画之手卷，章法经营计白当黑，清晖园就是一例佳构。
清晖园一鉴方塘的做法在江南园林中是罕见的，园林中叫做“理水”理水同样出自画理，讲究有曲有源，所以水岸曲折，作石矾滩头，设港汊水口，使小水面有浩渺之感，确实有空间拓展之效。而清晖园荷塘却能不囿常理，深池四壁，周以高树廊房，拒华南炎暑，自得一派清凉，对全园气温都能起到适量调节。除此功能之外，水面开阔无目障，这就使得澄漪亭、碧溪草堂、六角亭、池廊、船厅、惜荫书屋、真砚斋和花?亭等景点好似国画长卷一一展开。似这种对景相成、步移景异的全景式空间，实在不宜把荷塘与船厅一带分作两段欣赏。赏园如赏诗，讲究“比、兴”，“采菊东篱下，悠然见南山”，南山与篱菊或缺一项，都难成为千古绝句。
清晖园美不胜收，因其能以少胜多、因陈设色，使人大有"所至得其妙，心知口难言"之感。清晖园情真意趣，就在于师法自然，状物于似与不似之间，推人至物我交融的境界。
清晖园的清雅，除了体现在名字上，更多的是见于那一色的青砖灰瓦、绿树白花。当然，清晖园的风雅，更透过一群名士才子的轻吟浅唱，拨弄着无数游人的心弦。
清晖园中最浪漫的传说则隐匿于绿云深处的竹叶雕花窗棂间。船厅，因为曾经居住过龙家那位才华馥比仙、气质美如兰的龙吟芗小姐，掠过堂前的风，也多了几许旖旎。船厅也因此有了一个温婉的名字——小姐楼。“盈盈楼上女，皎皎当窗牖”，曾经装饰了多少风流才子的鸳鸯美梦呢？也许只有倾听船头年年如期盛放的紫藤，在月光如泻的春夜，与那株百年沙柳相依相偎的呢喃低语了。