据元朝《唐才子传》记载：李白登黄鹤楼，豪情满怀，诗兴勃发。正欲即兴赋诗，却见同代诗人崔颢之诗已经置于此。崔颢的《黄鹤楼》一诗曰：“昔人已乘黄鹤去，此地空余黄鹤楼。黄鹤一去不复返，白云千载空悠悠。晴川历历汉阳树，芳草萋萋鹦鹉洲。日暮乡关何处是，烟波江上使人愁。”李白目睹此诗，叹为观止，连称“绝妙”于是，李白就写了一首打油诗：“一拳捶碎黄鹤楼，一脚踢翻鹦鹉洲，眼前有景道不得，崔颢题诗在上头。”搁笔额去。在这首打油诗中，李白虽有调侃的意思，但却是真心话。
在众多歌咏黄鹤楼的诗作中，崔颢的《黄鹤楼》堪称珍品。南宋严羽在《沧浪诗话》中称：“唐人七言律诗，当以崔颢《黄鹤楼》为第一。”清戏曲作家、诗人和金石鉴赏家孔尚任在《题搁笔亭》诗前的序中写道：“黄鹤楼在黄鹄矶头，其名虽久，实显于崔颢之诗。李太白见崔诗……遂搁笔而去，是崔之诗名又显于太白。”甚至黄鹤楼还被称为“崔氏楼”唐代诗人崔颢，青年时诗风轻艳，多写妇女题材，晚年出入边塞，诗风才转为“刚健雄浑、豪迈壮逸”，这首《黄鹤楼》实乃吊古怀乡之佳作。崔颢“蜚声诗坛”，固然是因为这首诗写得好，但李白及其打油诗也功不可没。然而，在孔尚任游览黄鹤楼之前，这里竟没有提及搁笔之事的太白遗迹！不能不说，这是一件憾事。
之前，这里只有一处太白堂，孔尚任改之为“搁笔亭”，并“口占四绝，书之粉板，并拟亭名于诗前，特为此地补此缺事”其中两首是：“崔颢吟成绝妙辞，不因捶碎世谁知？青莲让美谁叉手，壁上于今竟有诗。潇洒仙才有尽时，当年搁笔费寻思。唐人不及今人胆，敢续崔郎以后诗。”此后，有人为搁笔亭作过多副亭联，比如：“辛氏有楼谁贳酒；谪仙搁笔我题诗”；“谁唤祢生同问月；敢邀杜老共题诗”此外，还有陈曾望的题联“太白无诗，竟成千古恨；长安不见，更上一层楼”最有名的当称清代无名氏所写的“搁笔题诗，两人千古；临江吞汉，三楚一楼”