בין מייסדיה ב-1920 היו יוצאי תימן, זכריה גלוסקא ויהודה צדוק, אולם הקשר בין ההסתדרות לבין עולי תימן לא עלה יפה בשל קיפוח ואפליה שהוצדקו בנימוק שהתימנים 'מסתפקים במועט'. אכזבת חלק מן הציבור התימני מן ההסתדרות הביאה להקמת 'התאחדות התימנים' ב-1922, ובראשה אברהם טביב, זכריה גלוסקא, שלום כהן הרמתי ואברהם צארום.
הנהגת ההסתדרות לא ראתה את הדבר בעין יפה וניסתה להקים גוף מתחרה בתוך ההסתדרות בשם "קלוב הפועלים התימנים". כך התפתח מאבק על מוקד ההשפעה, במיוחד על הייצוג בלשכות העבודה. כמה מראשי ההסתדרות, כגון יוסף אהרונוביץ' ויוסף שפרינצק, לא השלימו עם העובדה שהפועל התימני אינו חלק מן ההסתדרות ועשו הכול כדי לצרף את התאחדות התימנים להסתדרות הכללית. המשא ומתן נמשך קרוב לעשר שנים עד לחתימת ההסכם בינואר 1944.