زاحف الشبكة برنامج آلي يتصفح صفحات الويب بطريقة منهجية، ويستخدم غالباً في محركات البحث لفهرسة المحتوى وتحديث قواعد البيانات التي تساعد المستخدمين على الوصول إلى المعلومات بسرعة. يبدأ الزاحف عادةً من قائمة عناوين أولية، ثم يتتبع الروابط داخل الصفحات ويضيفها إلى قائمة الزيارة، مع تطبيق سياسات تحدد ما يجب تنزيله ومتى يعاد فحصه وكيف يتجنب إرباك المواقع أو تحميلها أكثر من اللازم. وتواجه الزواحف تحديات كبيرة بسبب ضخامة الويب وتغير صفحاته وتكرر عناوينه، لذلك تعتمد على ترتيب الأولويات وتطبيع العناوين واحترام ملفات المنع مثل robots.txt، كما تستخدم في الأرشفة والتحقق من الروابط واستخلاص البيانات والبحث المتخصص.
سبحان الله