پدرش علی ابراهیممحمدابراهیم سمسار یزدی بود. برادری داشت عبدالغفور نام که یازده سال از وی بزرگ‌تر بود. فرخی علوم مقدماتی را در یزد فرا گرفت. قدری در [[مکتبخانه]] و مدتی در مدرسه مرسلین انگلیسی یزد تحصیل نمود. فرخی تا حدود سن ۱۶ سالگی تحصیل کرد و فارسی و مقدمات عربی را آموخت. وی در حدود سن ۱۵ سالگی به دلیل اشعاری که علیه مدرسان و مدیران مدرسه یزد می‌سرود، از مدرسه اخراج شد.<ref name="ReferenceA">{{یادکرد|فصل=مقدمه|کتاب=دیوان فرخی یزدی|نویسنده = حسین مکی|ناشر =امیرکبیر|صفحه=۱۳|سال=۱۳۵۷}}</ref>
