پدر سمعانی وی را در سه سالگی به نیشابور برد اما یک‌سال و نیم پس از آن درگذشت و تربیت و تعلیم سمعانی به عموهایش واگذار شد. سمعانیان همگی اهل فضل و علم بودند. عموی بزرگ وی «ابومحمد حسن بن ابی‌المظفر سمعانی» عالمی زاهد بود و سمعانی جوان کتاب‌هایی چون «الجامع» معمر بن راشد، «تاریخ» احمد بن سیار، «امالی» ابی‌زکریا مزکی را نزد وی آموخت. همچنین از عموی کوچکش «ابوالقاسم احمد بن منصور سمعانی» (متوفی 534 هجری‌قمری) فقه و حدیث فراگرفت.
خواهر سمعانی «امه‌الله حره» نیز زنی عالم و فاضل بود و «ابی‌غالب محمد بن حسن باقلانی بغدادی» به وی اجازه حدیث داده بود. سمعانی نزد خواهرش احادیث و حکایات فراوان آموخت. از دیگر استادان وی که سمعنانی از آنها یاد کرده، «ابی‌شجاع عمر بن ابی‌الحسن بسطامی» است که سمعانی را به پژوهش و نگارش «الانساب» تشویق کرد.
سمعانی از استادان بسیاری آموخت. وی به خاطر تحقیق و استماع حدیث، رنج سفرهای فراوان را بر خود هموار کرد و بارها به شهرهای بسیاری مانند اصفهان، خراسان، همدان، ماوراءالنهر، عراق، حجاز، شام، طبرستان و بیت‌المقدس سفر کرد. ابن‌نجار نوشته است که وی از هفت‌هزار شیخ، حدیث شنیده است. سمعانی به نوشتن حدیث عشق می‌ورزید و این جمله زیبا را از «صاحب بن عباد» وزیر نقل کرده است که «من لم یکتب حدیث نم یجد حلاوه الاسلام: کسی که حدیث ننوشته، شیرینی و حلاوت اسلام را نیافته است.»
سمعانی برای کسب علم، بیشتر زندگی را در سفر گذراند و به ایران، عراق، شام، حجاز و ماوراءالنهر مسافرت کرد تا از عالمان هر شهر و دیار بهره علمی ببرد. معرو‌ترین اثر سمعانی کتاب «الانساب» است که به «انساب سمعانی» نیز شهرت دارد. «تاریخ مرو» دیگر اثر سمعانی است که از منابع ارزشمند تحقیق درباره منطقه مرو به‌شمار می‌رود. این کتاب از کتاب‌های مهم تصنیف شده در قرن ششم هجری‌قمری است. با اینکه موضوع این کتاب نسب‌شناسی یا شجره‌نگاری و به اصطلاح اعراب «التشجیر» است این اثر مشتمل بر اطلاعات بسیار سودمند و مهم دیگری نیز هست. در هر بخش با معرفی نسب افراد، شهر آنها را معرفی و اطلاعات ارزشمندی در حوزه تاریخ و جغرافیا در اختیار مخاطب قرار می‌دهد.
نمونه‌ای اطلاعات تاریخی و جغرافیایی که در نوشته‌های سمعانی آمده است:
این کتاب‌ها دربردارنده تفاسیر و علوم قرآنی، ادبی، عرفانی، تاریخی، سفرنامه‌ها و دواوین شعر است که بیشتر آنها متاسفانه امروزه در دست نیست و حتی در منبع کتابشناسی دیگر هم نامی از آنها نیامده است. از موارد بااهمیت «الانساب» این است که پس از تالیف، مورد توجه محققان سال‌های بعد قرار گرفت و عده‌ای بر آن تفریظ و شرح نوشته یا آن را تلخیص کردند. از میان این افراد «عزالدین ابوالحسن علی بن محمد بن اثیر جوزی» است که با تلخیص «الانساب سمعانی» و افزودن برخی استدراکات، کتاب جدیدی در سه جلد تدوین کرد و آن را «اللباب» نامید.
«جلال‌الدین عبدالرحمن سیوطی» نیز «الانساب» را تلخیص کرد و با برخی از اضافات که از کتاب‌هایی چون «معجم‌البلدان» یاقوت حموی استخراج کرده بود، در سال 873 هجری‌قمری کتاب جدیدی را با عنوان «لب‌اللباب» پدید آورد. همچنین «قاضی قطب‌الدین محمد بن محمد خضیری افعی» (متوفی 894ه.ق) «الانساب سمعانی» را تلخیص کرد و اضافات و تعلیقات ابن‌اثیر، «رشاطی» و دیگران را نیز بر آن افزود و کتاب خود را «الاکتساب» نام نهاد.
مشهورترین کتاب سمعانی همین «الانساب» به‌شمار می‌رود که به تشویق استادش «ابی‌شجاع عمر بن ابی‌الحسن بسطامی» در روز جمعه سال 550 هجری‌قمری در سمرقند شروع به تصنیف آن کرد. «الانساب» که به عربی نوشته شده در سال 1408 هجری‌قمری به شکل منقحی از سوی «دارالکتب العلمیه» بیروت با تصحیح و تحقیق استاد «عبدالله عمر بارودی» در پنج جلد منتشر شده است. پیش از این «الانساب» در 10 جلد در حیدرآباد هند به‌چاپ رسیده بود.
نظر شما