כל ילד יהודי בתימן, מבן שלוש ועד בן 12 שנים, זכה לחינוך בסיסי שהיה מכוון להכשירו למלא את מצוות הדת, כולל תפילה, קריאה בתורה וקיום מצוות בסיסיות. בערים, בעיירות ובכפרים היה החינוך מסור למלמדים שקיבלו שכרם הזעום מן ההורים, לעיתים בדמות ארוחות יומיות או כיכר לחם, ועל כן נאלצו לעסוק במלאכה נוספת, כגון העתקת ספרים ואריגה. בדרך כלל, היה מקום הלימוד בבית הכנסת או בחדר מיוחד סמוך לו או סמוך לבית המלמד.
במקומות יישוב קטנים שלא היו בהם מלמדים חינך האב את בניו תוך כדי עיסוקו לפרנסתו במלאכתו. לימוד תורה למבוגרים נוהל דרך קבע בבתי הכנסת בשיעורים קבועים שהתקיימו שם מדי יום ביומו, ובעיקר בימי שבת ומועד, לפני התפילות ואחריהן.
בקהילות גדולות בודדות, ובעיקר בצנעא, התקיימו ישיבות של תלמידי חכמים, שבצד כך עסקו לפרנסתם במלאכות שונות. התדרדרות החינוך לילדים במהלך המאה ה-19 הביאה את ר' יחיא קאפח לפעול למען הקמת מערכת חינוך מודרנית. החלו מגעים עם כי"ח ועם 'אגודת אחים', אך בסופו של דבר הוקם 'הַמַּכְּתַּבּ' בחסות השלטון התורכי, שהתקיים זמן קצר (1909-1913). ניסיון נוסף לייסד בית ספר מודרני בצנעא היה בשנות הארבעים בסיוע שליחי עלייה ו'ברית עברית עולמית'. רק בעדן הוקמה מערכת חינוך מודרנית של ממש, החל מראשית המאה ה-20, בחסות השלטון הבריטי ובסיוע 'אגודת אחים'.