丛书楼在秋山最南端，山与楼结合巧妙，楼也成了秋山最优雅的收尾。从山间石阶可至楼上。此楼背依秋山，面南而立，三开间，楼上下共六间。从名字可以知道这是主人藏书、读书之所。它避开园林中主要游览路线，建筑式样也较简朴。楼前有一小小院落，植梧桐一株，主干已斜出屋檐，颇有些“寂寞梧桐深院锁清秋”的意味。

这副联借兰、竹、山、水当前景物，阐述读书治学的道理。上联告诫人们读书学习先要让自己像兰竹一样清气、虚怀，心气清净才能进入书中境界，胸怀谦虚有利于吸收知识学问；下联鼓励人们读书学习不必拘泥，要像山水一样坚持自己的学术个性。水好动，山好静；水有情，山有趣。见仁见智，一样可以获得最高成就。

中国著名书法家周志高书旧联。时在上海，所以在跋中写“海上周志高并记”。