Cet ancien village de marabouts fut jadis voué à la religion. En 1207, un mystique nommé Abou Saïd Khalafa ben Yahia s'y installa afin de développer le soufisme. La mort en fit un saint et la colline de Sidi Bou Saïd et devint un haut lieu de la spiritualité.
Autrefois village paisible de pêcheurs, il doit sa renommée internationale au baron anglais Rodolphe d'Erlanger qui s'y installa en 1912 et y fit construire un somptueux palais.  
Amoureux de musique il ouvrit sa porte aux artistes de tout bord en organisant des rencontres et des soirées où se mêlaient art, musique et littérature. Après sa mort en 1932, ses héritiers léguèrent son patrimoine à la Tunisie. 
Actuellement la palais, rebaptisé Ennejma Ezzahra, est  devenu le Centre des Musiques  Arabes et Méditerranéennes. Il est ouvert au public qui peut admirer son magnifique musée d'instruments musicaux, son architecture  et ses jardins.   Aujourd'hui Sidi Bou Saïd est devenu le rendez-vous des artistes, de la jeune bourgeoisie et des étrangers en mal d'exotisme,  plusieurs galeries d'art  y ont élu domicile...