על פי מסורת האסלאם נאסר על היהודים להקים בתי כנסת חדשים. וכבר בסוף המאה התשיעית נמסר על הריסת בתי כנסת על ידי האמאם הזיידי יחיא אלהאדי. כתוצאה מן הפעילות המשיחית בשנת 1667 נסגרו בתי הכנסת בצנעא, ובית הכנסת הראשי מדרש החכמים (כניס אלעֻלמא) הוסב להיות מסגד הפועל עד היום (מסג'ד אלג'לא).
ב-1762 נסגרו כל בתי הכנסת בצנעא בעקבות הדחתו של שלום עראקי ראש הקהילה ולא הותר לפותחם אלא לאחר 30 שנה. גם האמאם יחיא הורה לסגור בתי כנסת חדשים, שנבנו בשכונה היהודית בצנעא תחת השלטון התּוּרְכִים בסוף המאה ה-19. עם זאת, כמעט בכל קהילה יהודית בתימן שהיה בה מניין גברים היה מקום המיועד לתפילה, לעתים קרובות לא מבנה מיוחד שנבנה לצורך זה אלא חדר או מבנה פרטיים שהוסבו לכך.
במקומות רבים בתימן היו משפחות יהודיות בודדות, שראשיהן היו בעלי מלאכה ששירתו את התושבים המוסלמים והם התקבצו לתפילה ביישוב סמוך רק בשבתות או בחגים. כמעט כל בתי הכנסת נקראו על שם משפחה זו או אחרת שהקדישה את המקום לתפילה. בדרך כלל שימש המקום גם כבית מדרש שבו קבעו עתים לתורה יום יום. לפני תפילת שחרית ולאחר תפילת ערבית. מעמד בית הכנסת כבית מדרש הושפע במידה רבה מרמתו וממעמדו של רב בית הכנסת.