Краулер
Варианты перевода
crawler — краулер, поисковый робот, паук, сканер
Программа, которая автоматически обходит веб-страницы в интернете для сбора информации, чаще всего для поисковых систем.
The search engine uses a crawler to discover new web pages. / Поисковая система использует краулер для обнаружения новых веб-страниц.
Our custom crawler is designed to gather data from specific websites. / Наш специальный краулер предназначен для сбора данных с определенных сайтов.
A well-behaved crawler respects the rules set in the robots.txt file. / Хорошо спроектированный краулер соблюдает правила, установленные в файле robots.txt.
The crawler's job is to follow links from one page to another. / Задача краулера — переходить по ссылкам с одной страницы на другую.
web crawler — веб-краулер, поисковый робот, веб-паук
Более точный и широко используемый термин, который прямо указывает, что программа работает в вебе (в интернете). Является полным синонимом ‘crawler’ в контексте интернета.
Googlebot is the web crawler software used by Google. / Googlebot — это программное обеспечение веб-краулера, используемое Google.
A web crawler can put a heavy load on a server if it makes too many requests. / Веб-краулер может создавать большую нагрузку на сервер, если делает слишком много запросов.
The company developed a powerful web crawler to index the entire internet. / Компания разработала мощный веб-краулер для индексации всего интернета.
web spider — веб-паук, паук, поисковый робот
Синоним для ‘web crawler’. Название ‘spider’ (паук) возникло из-за того, что программа ‘полает’ по ‘всемирной паутине’ (World Wide Web), переходя по ссылкам, словно паук по своей сети.
A web spider is also known as a web crawler. / Веб-паук также известен как веб-краулер.
The site's administrator blocked the aggressive web spider. / Администратор сайта заблокировал агрессивного веб-паука.
Web spiders are essential for search engines to function. / Веб-пауки необходимы для функционирования поисковых систем.
How does a web spider decide which pages to visit first? / Как веб-паук решает, какие страницы посетить в первую очередь?
spider — паук, поисковый робот, краулер
Сокращенная и очень распространенная версия ‘web spider’. Часто используется в неформальной и профессиональной речи. Вне контекста IT может означать обычного паука (животное).
The search engine's spider is constantly indexing new content. / Паук поисковой системы постоянно индексирует новый контент.
We wrote a simple spider in Python to collect news headlines. / Мы написали простого паука на Python для сбора заголовков новостей.
You can use the robots.txt file to control which parts of your site a spider can access. / Вы можете использовать файл robots.txt, чтобы контролировать, к каким частям вашего сайта может получить доступ паук.
bot — бот, робот
Более общее слово. ‘Bot’ (сокращение от ‘robot’) — это любая автоматизироанная программа. Краулер — это один из видов ботов. Этот термин можно использовать, но он менее точен, чем ‘crawler’ или ‘spider’.
Search engines use bots to crawl and index websites. / Поисковые системы используют ботов для сканирования и индексации веб-сайтов.
A web crawler is a specific type of bot designed for browsing the web. / Веб-краулер — это особый тип бота, предназначенный для просмотра веб-страниц.
The server was attacked by a malicious bot. / Сервер был атакован вредоносным ботом.
Not all internet bots are crawlers; some are used for chatting or trading. / Не все интернет-боты являются краулерами; некоторые используются для общения в чатах или для торговли.
search engine bot — поисковый робот, поисковый бот, робот поисковой системы
Очень конкретный термин, который точно описывает основное предназначение краулера — работа на поисковую систему. Указывает на принадлежность бота к поисковику (например, Google, Yandex).
A search engine bot found a broken link on our homepage. / Бот поисковой системы нашел неработающую ссылку на нашей главной странице.
Allowing search engine bots to crawl your site is crucial for SEO. / Разрешение ботам поисковых систем сканировать ваш сайт имеет решающее значение для SEO.
The server logs show activity from several different search engine bots. / В логах сервера видна активность от нескольких разных ботов поисковых систем.
