Поисковый робот (Краулер)
Программа для автоматического обхода веб-страниц.
🌐 Термины на других языках:
A web crawler (also known as a spider or spiderbot) starts with a list of URLs to visit, called the seeds. As the crawler visits these URLs, it identifies all the hyperlinks in the page and adds them to the list of URLs to visit next. This is how search engines 'discover' and keep track of the billions of pages on the web.
graph LR
Center["Поисковый робот (Краулер)"]:::main
Rel_search_engine["search-engine"]:::related -.-> Center
click Rel_search_engine "/terms/search-engine"
Rel_keyword_research["keyword-research"]:::related -.-> Center
click Rel_keyword_research "/terms/keyword-research"
Rel_sorting_algorithm["sorting-algorithm"]:::related -.-> Center
click Rel_sorting_algorithm "/terms/sorting-algorithm"
classDef main fill:#7c3aed,stroke:#8b5cf6,stroke-width:2px,color:white,font-weight:bold,rx:5,ry:5;
classDef pre fill:#0f172a,stroke:#3b82f6,color:#94a3b8,rx:5,ry:5;
classDef child fill:#0f172a,stroke:#10b981,color:#94a3b8,rx:5,ry:5;
classDef related fill:#0f172a,stroke:#8b5cf6,stroke-dasharray: 5 5,color:#94a3b8,rx:5,ry:5;
linkStyle default stroke:#4b5563,stroke-width:2px;
🧠 Проверка знаний
1 / 1
🧒 Простыми словами
Это цифровой паук, который плетет паутину из ссылок и бегает по ним, проверяя каждый уголок интернета.
🤓 Expert Deep Dive
Краулеры могут 'застревать' в бесконечных календарях или фильтрах интернет-магазинов, что называется 'ловушкой для паука'.