Autrefois appelée La Chapelette (paroisse fondée en 1095), la commune de Saint Eloy d’Allier est née en 1901. Le hameau de Saint Eloi s’est développé à la fin du XIXe siècle avec la construction de l’église, de la mairie et de l’école. Suite à une demande du Conseil Général, le conseil municipal délibère pour accepter le changement de nom et d’emplacement car Saint Eloy est plus central géographiquement que la Chapelette.
Détruite à la Révolution, l’église actuelle est reconstruite en 1896. De plan cruciforme, elle comprend 2 travées, un transept peu saillant, une abside semi-circulaire et un petit clocher de façade carré surmonté d’une flèche octogonale. Les vitraux datent de 1896. Le mobilier est acquis en 1899 mais plusieurs statues en bois polychrome sont conservées parmi lesquelles une Vierge portant l’Enfant dévêtu, ce qui est plutôt rare. L’église, dédiée à Saint Didier, est également connue sous le nom de Notre-Dame du Sacré-Cœur, reflétant ainsi ses deux identités.
Ce château dresse ses ruines romantiques à la frontière de l’Allier. Le donjon est maintenant entouré d’eau depuis la création du plan d’eau de Sidiailles dans le Cher. Le cadre de vie dans ce château est austère et sinistre. D’une superficie de 6 600 m², il est fortifié au sommet d’un rocher mais paradoxalement au fond d’un ravin. De ce fait, il ne dispose pas d’une situation offensive mais défensive et sa construction est adaptée aux techniques de siège. Plusieurs obstacles successifs se présentent donc aux assaillants sans aucun repli possible. Pour attaquer ce tout petit château, une logistique considérable et très coûteuse en hommes et en matériel est nécessaire. La forteresse est encore habitée en 1482. Elle n’est abandonnée qu’après les guerres de religion en 1618 et dépouillée de tout : portes, fenêtres, aménagements intérieurs… Il ne reste plus que les murs en 1780. Un souterrain part d’une sombre cavité naturelle vers Boussac. Au bas du château tournait un moulin et la tradition veut qu’il y ait eu 7 chapelles autour de La Roche Guillebaud. George Sand n’est pas restée indifférente à la sombre beauté de ces ruines décrites en 1837 dans « Mauprat ».
Construit certainement en remplacement d’un édifice plus ancien, le château actuel présente un haut donjon à mâchicoulis et une tour d’angle ronde datant de 1830 environ.
Une pierre armoriée en calcaire, volée depuis peu à Vervaux, était ornée d’un écu à 3 besans rappelant la présence d’un établissement hospitalier dédié à Saint Jean de Jérusalem comme le prieuré et la chapelle de La Roche.