Crawler Bot

To web-crawunødvendige lere, som bruker ressurser på web-serveren. 1. Agent: Yanga WorldSearch Bot v1.1/beta (http://www.yanga.co.uk/) 2. Agent: Mozilla/4.0 (kompatibel; MSIE …