מראשית התיישבותם בירושלים ב-1881 ביקשו עולי תימן לעלות על הקרקע ולכך ייעדו אותם ראשי הישוב היהודי בירושלים, דבר שהתבטא ביישובם בכפר השילוח. הניסיון הממשי היחיד שצלח היה בנחלת ישראל רמה. בסמוך לקבר שמואל הנביא, בראשית שנות ה-90 במאה ה-19.
הפעיל הראשי בעניין זה היה ראש הקהילה ר' אברהם נדאף, שאף הקים לצורך כך את 'חברת שיבת ציון' ופעל באופן נמרץ, אם כי ללא הצלחה, לרכישת קרקע חקלאית במקומות שונים. משפחות תימניות ספורות עסקו בחקלאות במוצא. ב-1927 עלתה על הקרקע במגדל עדר (לימים בגוש עציון) קבוצה גדולה של מתיישבים, רובם תימנים. פועלים תימנים מירושלים, שעסקו בחקלאות במושבה רחובות, הביאו את ראשי המשרד הארץ-ישראלי אל הרעיון להביא יהודים מתימן להתחרות בפועל הערבי, ולשם כך שלחו ב-2011 את שמואל יבנאלי לתימן.