Né de la volonté et de la générosité du Montpelliérain Xavier Atger, le musée qui porte son nom est une autre magnifique curiosité de l'histoire : il renferme en effet une collection d'un millier de dessins et de plusieurs milliers d'estampes qui n'ont rien de médical. Lorsque Atger en fait don à la bibliothèque de la faculté de médecine, dans les années 1820, il agit en effet dans le même esprit que Prunelle, celui d'une médecine humaniste qui doit s'ouvrir à l'art.
La collection se compose d'oeuvres des écoles française, flamande et italienne du xvie au xvine siècle. Tous les thèmes iconographiques (scènes religieuses ou mythologiques, portraits, paysages, feuilles d'études, ornements, etc.), toutes les techniques du dessin, de la sanguine au lavis en passant par la pierre noire, sont abordés par des centaines d'artistes, certains illustres (Fragonard, Tiepolo, Carrache, Philippe de Champaigne), d'autres un peu oubliés, et que le musée permet de redécouvrir.