נוסדה ב-1922. מנהיגיה הראשונים: זכריה גלוסקא (עד 1960); אברהם טביב ושלום כהן הרמתי. הוקמה במחאה על כך שהתימנים לא זכו לייצוג ראוי בהסתדרות הכללית ולאפשרויות התיישבות בדומה לאחרים.
מאז הקמתה החלה התקרבות התימנים לחוגים האזרחיים. במשך שנים התנהל מאבק חריף בין אלה שלא פרשו מן ההסתדרות ונשארו נאמנים לתנועת העבודה, לבין אלה שהקימו את ההתאחדות וראו עצמם נציגים בלעדיים של התימנים. פעילותה ניכרה במיוחד בתקופה שקדמה להקמת המדינה, והישגיה החשובים: טיפול בעלייה ובקליטתה בעיר ובכפר. פעמים מספר היו ניסיונות כושלים לגשר בין ההתאחדות לבין פעילי ההסתדרות התימניים.
המאבק החריף בשלהי מלחמת העולם השנייה, כשרבו העולים מתימן. אנשי ההסתדרות בראשות י' ישעיהו הצליחו לדחוק את רגלי התאחדות התימנים בהסתייעם בממסד הציוני שבראשותו היו אנשי תנועת העבודה.
עם קום המדינה היו ראשי ההתאחדות: יו"ר גלוסקא, מזכיר – שמעון גרידי, וגזבר – יוסף כהן. לכנסת הראשונה נבחר מטעמה גלוסקא, לכנסת השנייה גרידי, ובכנסת השלישית היא לא עברה את אחוז החסימה. המאבק עם ההסתדרות גבר לאחר הקמת המדינה ובמשך שנות החמישים רבו ההתפצלויות הפנימיות בקרב התימנים בסיוע המפלגות הגדולות. כוחה של ההתאחדות נחלש גם על ידי יוצאי תימן שפעלו ברשימות אחרות. התמוטטותה המוחלטת באה בעקבות הכישלון בבחירות לכנסת השלישית, פטירת מנהיגה גלוסקא ומחלוקת בקרב אלה שנותרו בה.