Budowę budynku rozpoczęto w 1603 roku, a już w 1609 roku miało miejsce jej oficjalne otwarcie. Jej założycielem był ks. kardynał Fryderyk Boromeusz. Mieści się na parterze Pinacoteki. W swoich zbiorach zawiera wiele cennych dzieł literatury światowej, w tym ponad 750 000 drukowanych książek i 35 000 manuskryptów. Z założenia miała być centrum nauki i kultury. Znajduje się tutaj m.in. tzw. „Kodeks Atlantycki”, czyli największy zbiór notatek Leonarda da Vinci czy ilustrowana „Iliada” Homera z V wieku.