Suchmaschinen verwenden automatisierte Software, um das Internet ständig nach neuen Webseiten zu durchsuchen. Diese Software ist unter verschiedenen Namen bekannt, wie z. B. „Search Bots“, „Web Crawler“ oder „Spider“. Der Prozess der Suche nach neuen Seiten wird „Crawling“ genannt...