עם הקמת המדינה, היה מאחורי המפלגה של התאחדות התימנים בישראל היסטוריה ארוכה של סכסוכים עם ההסתדרות הכללית בשאלות של ייצוג עובדים ופעולה במוסדות ההסתדרות, מאבקים על כספים, חילוקי דעות בנושאי דת ושמירה על מנהגיה המיוחדים של העדה התימנית ועוד. בבחירות לאספה הלאומית ב-1949 זכתה המפלגה במנדט אחד. ההישג המינימאלי נבע מכך שהיו תימנים שהתמודדו ברשימות אחרות, הן במפא"י והן בצד הימני של המפה הפוליטית. הפילוגים והשסעים בקרב בני העדה היו כר פורה לפעילות של גורמים וגופים פוליטיים שביקשו לזכות בקולות התימנים. ואכן, ההצבעה התפצלה בין מפלגות שונות. גם בבחירות לכנסת השנייה, בשנת 1951, השיגה המפלגה מנדט אחד בלבד. 7,965 הקולות שקיבלה היו עלייה ניכרת לעומת 4,399 קולות שהשיגה בבחירות ב-1949. יחד עם זאת, ב-1951, נוכח העלייה העצומה במספר בעלי זכות ההצבעה, הסתבר שהמפלגה התימנית זכתה ב-1.2% מקולות הבוחרים לעומת 1% ב-1949. העלייה העצומה מתימן לא ריכזה את כוחה בהצבעה מאוחדת למפלגת התאחדות התימנים, ובכך נגזר גורלה של המפלגה להיעלם מן המפה הפוליטית.
בשנת 1950 ראתה אור החוברת "יהודי תימן במדינת ישראל", בעריכת שמעון גרידי. החוברת נחתמת במשפטים הבאים:
"מצבנו הקשה הוא המאפשר עתה לכל מיני סרסורי מפלגות ושכירים חסרי מצפון לשסע את העדה ולפזר את בניה הנאמנים לכל עבר. לא ירחק היום והסרסורים יתנחמו על מעשיהם והצבור אשר פוזר במפלגות מבלי רצונו ומבלי ידיעתו ישוב להיות תוך מסגרת אחת נאמן עמו, לתורתו ולעצמאותו."
שמעון גרידי היה עתיד להיות חבר-הכנסת הבודד של מפלגת התימנים בכנסת השנייה, את תחזיתו-תקוותו נכזבה בסופו של דבר.
