Venne aperta al pubblico nel 1742 nei locali situati sotto la Specola astronomica. Sin dal 1823 ha sede nel palazzo quattrocentesco della Sapienza di cui occupa le ali poste a nord ovest del piano nobile, dove sono situati i locali destinati all'utenza, le sale di consultazione e gli uffici, e le ali a sud ovest del secondo piano, adibite a magazzini librari. Il Palazzo è stato chiuso con Ordinanza sindacale a partire dal 29 maggio 2012 per problemi dovuti alla staticità strutturale e la Biblioteca attualmente offre i sui servizi al pubblico nella sede distaccata di Piazza San Matteo in Soarta, 2. Il primo nucleo librario fu costituito dalla biblioteca privata del Prof. Giuseppe Averani (1662-1738) ricevuto per disposizione testamentaria.Il nucleo originario fu accresciuto, negli anni successivi, con lasciti, doni di privati e con lo smembramento delle biblioteche delle Corporazioni religiose soppresse. Risale al 1757 l’acquisto di circa seimila volumi appartenuti all’erudito fiorentino Anton Francesco Gori di interesse archeologico e antiquario. Nel 1771 furono poi assegnate alla Biblioteca per volontà del Granduca numerose opere della Biblioteca Medicea-Palatina-Lotaringia. Con l’abolizione del Monastero dei Camaldolesi di San Michele in Borgo i manoscritti del padre Guido Grandi ne arricchirono il patrimonio. Ulteriore acquisizione settecentesca fu il piccolo ma prezioso fondo dell’Orto Botanico. Ottocenteschi sono i fondi importanti e pregevoli tra i quali ricordiamo i manoscritti dell'egittologo Ippolito Rosellini (direttore della biblioteca dal 1835 al 1843), i numerosi volumi acquisiti per disposizione testamentaria del Provveditore dell’Università Angelo Fabroni, il fondo costituito a proprie spese da Giuseppe Piazzini dal 1820 al 1832, periodo in cui tenne la direzione della biblioteca, la raccolta filologica di Michele Ferrucci (direttore della biblioteca dal 1848 al 1881), le più recenti biblioteche scientifiche di Filippo Corridi e Sebastiano Timpanaro, le collezioni mediche di Diomede Buonamici e Antonio Feroci e la raccolta storico-letteraria del Prof. Alessandro D'Ancona. Importanti donazioni sono continuate da parte dei professori dell’Università di Pisa e privati cittadini anche in anni recenti.