晚唐文学家皮日休也曾幽栖鹿门寺。 张子容、白云、王迥等都曾在此地隐居过此地。 一代诗仙李白、王维、米芾、曾巩等历史文化名人曾经在此驻足、流连。 唐宋八大家之一曾巩曾发出“不踏苏岭石,虚作襄阳行”的慨叹。 所以,史有“鹿门高士傲帝王”之说。