A könyvtár alapját Fan Csin a Feng-család 11. századtól gyűjtött családi könyvgyűjteményének megvételével vetette meg, majd húsz év alatt még rengeteg értékes könyvet, kéziratot vásárolt hozzájuk és a bibliotéka anyagát 53 000 kötetre bővítette.

A Csing-dinasztia idején Csien-lung kínai császár is meglátogatta a könyvtárat, és utasítást adott arra, hogy annak adatait gondosan felmérve készítsék el másolatát aTiltott Városban és a Csengtöi nyári rezidencia területén is az általa létrehozott Sze Ku Csüan Su enciklopédia elhelyezésére.

Az ópiumháború idején a brit hadsereg sok könyvet elvitt a könyvtárból. A félgyarmati, polgárháborús körülmények között a könyvtár állománya rohamosan tovább csökkent és 1940-re mindössze 20 000 kötetet tett ki. A Kínai Népköztársaság kikiáltása után a könyvtárat állami védelem alá helyezték és újra megkezdték gyarapítását másutt begyűjtött régi kötetekkel. 1982-ben a könyvtárat és az azt körülvevő parkot nemzeti emlékhellyé nyilvánították.