המספר הגדול של עולי תימן בירושלים מ-1881 הביא להקמת מסגרות קהילתיות נפרדות, לאחר שקודם לכן נטמעו עולי תימן המעטים בקהילה הספרדית. עליית ר' אברהם נדאף וחברו ר' שלום אלשיך זירזה וחיזקה את המגמה להקים מסגרת קהילתית נפרדת. על רק טענות קשות של עולי תימן נגד הכולל הספרדי, שבו נכללו השניים, אולם בהשפעת כולל זה לא העניק השלטון התורכי אישור להקמת כולל תימני עצמאי.
האישור המיוחל – פרמאן – הושג לבסוף ב-1908. הוועד החדש, תחילה בהנהגת שני האישים הנ"ל ולאחר זמן קצר בהנהגת ר' אברהם צארום, פעל רבות להקמת מוסדות קהילתיים עצמאיים: ועד רוחני וועד מעשי, בתי ספר, ישיבות, מערכת שד"רות, בית עלמין, מפעל רווחה ועוד. ראשי הוועד היו גם שותפים בהקמת 'התאחדות התימנים' ב-1922. עם הקמת מדינת ישראל התרוקנו רוב הפונקציות של הוועד ופעילותו הצטמצמה לניהול בית העלמין ולפעולות תרבות ודת.