Vous voulez savoir si un agent de catégorie B peut être responsable d'une bibliothèque municipale de petite taille.
Et dans cette éventualité, vous voulez savoir qui est alors son supérieur hiérarchique direct.

De nombreuses bibliothèques territoriales sont effectivement dirigées par des agents de catégorie B.
Le recours à des agents de catégorie A n'est envisageable que pour des grandes communes ou communautés de communes, qui disposent d'un important dispositif de lecture publique (grosse bibliothèque ou réseau de plusieurs bibliothèques).

Pour information, dans une précédente réponse sur le nombre d'agents de catégorie A et B au sein d'une bibliothèque, nous indiquons que l’État recommande la présence d’un agent de catégorie B filière culture dans les bibliothèques de communes de plus 5.000 habitants.

En ce qui concerne l’organisation hiérarchique, vous pouvez vous référer à une précédente réponse sur les tutelles des bibliothèques territoriales, dans laquelle nous indiquons que la bibliothèque peut être rattachée directement au directeur général des services, ou plus fréquemment à la direction responsable de la culture, qui travaille étroitement avec l'élu en charge de la culture.
Dans cette réponse, nous donnons un exemple d’organisation hiérarchique fréquent :
Président de la collectivité > Directeur général des services > Directeur général adjoint > Directeur de la bibliothèque.
Nous citons enfin Dominique Lahary :

"Le DGS (terme désormais en vigueur quelle que soit la taille de la collectivité) est à la tête de l’administration dont il est le premier salarié. Il met en œuvre la politique et aide à la décision. (...) Un élu n’a en principe pas à intervenir directement dans la marche des services, qui relèvent hiérarchiquement du DGS et de ses subordonnés."
Source : Bibliothécaires et décideurs. Bibliothèque(s). n° 71-72, 2013

Pour aller plus loin, vous pouvez consulter :

• Manager une bibliothèque territoriale. Territorial éd, 2012. Présentation
• Mémento du bibliothécaire. Association des bibliothécaires de France, 2013
• Gestion d’une bibliothèque : administration, gestion. Lidwine Harivel. Formation ABF d’auxiliaire de bibliothèque 2014-2015
• Les bibliothèques : administrations centrales, principaux types, statuts et organisation. Cours d’Administration de Mediadix
• Connaître et reconnaître l'encadrement intermédiaire dans la fonction publique territoriale [Guide managérial des Cahiers de l'observatoire social territorial]. MNT les territoriaux solidaires, 2013