در روز جمعه ۲۱ ذی‌القعده سال ۴۰۸ هجری در شهر نوقان طوس خراسان (بخشی از مشهد فعلی) دیده به جهان گشود.
نام اصلی خواجه، ابوعلی حسن و نام پدرش ابوالحسن علی بود و نام پدر او نیز علی بن اسحق بن عباس بود که از دهقان‌زادگان بیهق بود. علی بن اسحاق که کنیه‌اش ابوالحسن بود در نویسندگی و حسابداری دستی داشت. در دستگاه حکمران خراسان داخل شده بود و خدمت دیوانی می‌کرد. منزل اصلی خاندان او نیز بیهق بود.
مقدمات علوم را از زبان عربی و قران آموخت و از همان ازمنه در صحبت اهل علم و صلاح می‌گذرانید. همین‌که در حدود بیست سالگی از تحصیل فقه، حدیث و سایر علوم شرعی و فنون ادبی فارغ شد و فاضلی عالم و دبیری توانا گشت، به اعمال دیوانی مشغول شد.
در ۲۱ سالگی با انحطاط سلطنت غزنوی و هجوم ترکمانان سلجوقی به خراسان به خدمت سلجوقیان درآمد، اما پس از آزار و اذیت‌هایی که از ابن شاذان عمید بلخ دید به مرو رفت و به دستگاه چغری‌بیگ، برادر طغرل سلجوقی، پیوست و به مدت ۱۰ سال یعنی تا سال ۴۴۴ق در خدمت آنان بود.
با مرگ طغرل در ۴۵۵ق به علت اینکه پسری نداشت، آلپ‌ارسلان جانشین او شد. آلپ ارسلان خواجه را هنگامی‌که ۳۲ سال داشت به‌عنوان وزیر خویش برگزید و تمام کارهای مملکتی را به وی سپرد و هیچ امری را بدون مشورت وی انجام نمی‌داد.
نظام‌الملک در حدود سی سال وزارت در کنار آلپ ارسلان و سپس ملکشاه در اداره امور، فتح بلاد و سرکوبی مخالفین این دو پادشاه چنان کفایت و حسن تدبیر به خرج داد که دولتی وسیع از حلب تا کاشغر را تحت امر ایشان آورد و نام و نشان آن دو سلطان را در شرق و غرب عالم معلوم آن زمان جاری کرد. او حوزه قلمرو حکومت ایران را چنان وسیع کرد که در کلیه این هزار و چهارصد ساله تاریخ اسلام نظیر آن دیده نشده است و در این حوزه جایی نبود که در انجام دادن امر او اندک تأخیری روا دارند.
در رمضان ۴۸۵ هنگامی که با اردوی شاهی از اصفهان به بغداد می‌رفت، به نقلی در نزدیکی صحنه در کرمانشاه و به نقلی دیگر در نزدیکی نهاوند به‌دست فردی که لباس صوفیان را پوشیده بود با ضرب کارد بر سینه و رگش زخمی شد و یک روز پس از آن درگذشت و در بنای دارالبطیخ در محله احمدآباد اصفهان و در کوچه‌ای به‌نام خواجه نظام‌الملک به خاک سپرده شد.