رشد اینترنت شگفت‌آور شده است. با توجه به تحقیق میدانی در سال 1996 این رشد تصاعدی همچنان ادامه دارد. و تخمین زده شده که شبکه از نظر اندازه و حجم هر 12 تا 15 ماه دوبرابر می‌شود. بطور تقریبی 000/100 وب‌گاه در اگوست 1995 وجود داشته و این تعداد در اگوست 1996 به 041/536 رسیده است. از آنجائی که هر پایگاه می‌تواند بسیاری از صفحات وب را در خود داشته باشد این باعث می‌شود که تعداد بیشتری از صفحات وب بوجود آید. در حالیکه کیفیت بسیاری از صفحات ممکن است مورد سؤال باشد و نگهداری بسیاری از صفحات پراکنده است. اما صفحات معتبری هم وجود دارد که اطلاعات با ارزشی در مورد بسیاری از موضوعات ارائه می‌دهد. آنچه استفاده‌کنندگان به آن نیاز دارند یک سیستم جداکننده است که مو از ماست بکشد.
تلاشهای زیادی صورت گرفته که این وظیفه را آسان کند: کتابداران و متخصصان موضوعی راهنماهای موضوعی را گردآوری کرده‌اند.«اخبار کتابخانه‌های تحقیقاتی و دانشکده‌ای»1 بطور دوره‌ای راهنماهای منابع اینترنتی را در موضوعات انتخابی منتشر می‌کند. علاوه بر آن فهرستنویسان Intercat را (که یک فهرست آزمایشی برای اینترنت است) بوجود آورده‌اند. OCLC نیز پایگاه Netfirst را برای نمایه‌سازی منابع اینترنت با سرعنوانهای موضوعی کتابخانه کنگره و اعداد طرح دهدهی دیویی ایجاد کرده است. کتابداران مرجع یک پایگاه وب را به نام Infofilter بوجود آورده‌اند که مرور منابع اینترنتی را به اشتراک بگذارند و کتابداران رده‌بندی موضوعی را برای سازماندهی منابع اینترنت مورد آزمایش قرار داده‌اند. اما چیزی که بیشترین توجه استفاده‌کنندگان اینترنت را به خود معطوف داشته است، احتمالاً عنکبوتها و روباتهایی هستند که خدمات جستجو را انتخاب می‌کنند. برای بسیاری از جستجوگران اینترنت، این موتورها با راه دادن آنها به فضای اطلاعاتی عظیم کمک موقتی ارائه می‌دهند. کاربران اینترنت بزودی فهمیدند که این موتورها کامل و مناسب نیستند زیرا آنها منطقه جغرافیایی خاصی را پوشش می‌دهند، بصورت متفاوت نمایه‌سازی می‌شوند و منابع را با کلیدواژه‌ها بازیابی می‌کنند. استفاده‌کنندگان هرگز نمی‌توانند اعتماد کنند که یک جستجو جامع یا قطعی باشد. با وجود اینکه نتایج بازیابی ظاهراً بوسیله میزان ارتباط مرتب شده است و استفاده‌کنندگان مبارزه با ریزش کاذب مواد تکراری و نامربوط را ادامه می‌دهند. در کل پیشرفت خوبی در کمک به استفاده‌کنندگان برای جهت‌یابی در اینترنت بوجود آمده، اما این ابزارها آنقدر زیاد هستند که انتخاب صحیح یکی از آنها کار سختی است
تحقیق موتورهای جستجو 26 ص - ورد