כל מה שרצית לדעת על זחלן רשת:
זחלן רשת (web crawler) או רובוט חיפוש הוא סוג של בוט או תוכנה שסורקת באופן אוטומטי ושיטתי את הרשת הכלל עולמית (WWW).
אתרים רבים, בייחוד מנועי חיפוש, משתמשים בזחלנים כדי לקבל תמונה עדכנית של הרשת.
במנועי חיפוש, הזחלן שומר העתק של האתרים כדי שיהיה ניתן לעדכן אותם מאוחר יותר באינדקס של מנוע החיפוש.
כמו כן, תוכנות זחלן יכולות לאתר קישורים מתים בדפי אינטרנט או לאסוף כתובות דואר אלקטרוני (בדרך כלל לשם שליחת דואר זבל).
בדרך כלל הזחלן מתחיל לסרוק דף מתוך רשימה נתונה של דפים (למשל האינדקס של מנוע החיפוש) ומשם הוא מתקדם באופן רקורסיבי דרך הקישורים בדף, לדפים נוספים.