Пошуковий робот (Web Crawler)
Програма, що автоматично переходить за посиланнями в інтернеті.
🌐 Терміни іншими мовами:
A web crawler (also known as a spider or spiderbot) starts with a list of URLs to visit, called the seeds. As the crawler visits these URLs, it identifies all the hyperlinks in the page and adds them to the list of URLs to visit next. This is how search engines 'discover' and keep track of the billions of pages on the web.
graph LR
Center["Пошуковий робот (Web Crawler)"]:::main
Rel_search_engine["search-engine"]:::related -.-> Center
click Rel_search_engine "/terms/search-engine"
Rel_keyword_research["keyword-research"]:::related -.-> Center
click Rel_keyword_research "/terms/keyword-research"
Rel_sorting_algorithm["sorting-algorithm"]:::related -.-> Center
click Rel_sorting_algorithm "/terms/sorting-algorithm"
classDef main fill:#7c3aed,stroke:#8b5cf6,stroke-width:2px,color:white,font-weight:bold,rx:5,ry:5;
classDef pre fill:#0f172a,stroke:#3b82f6,color:#94a3b8,rx:5,ry:5;
classDef child fill:#0f172a,stroke:#10b981,color:#94a3b8,rx:5,ry:5;
classDef related fill:#0f172a,stroke:#8b5cf6,stroke-dasharray: 5 5,color:#94a3b8,rx:5,ry:5;
linkStyle default stroke:#4b5563,stroke-width:2px;
🧠 Перевірка знань
1 / 1
🧒 Простими словами
Пошуковий робот — це як маленький робот-дослідник, який переходить з одного сайту на інший, використовуючи посилання як містки. Кожного разу, коли він знаходить новий місток, він переходить по ньому і записує, що побачив на іншому боці.
🤓 Expert Deep Dive
Роботи повинні дотримуватись правил файлу robots.txt. Найвідоміший робот у світі — Googlebot.