`urllib.robotparser.md`

87 строк · 3.1 КБ · обычная страница · сырой текст · скачать
1> **Источник:** https://python-all.ru/3.0/library/urllib.robotparser.html2>3> «Документация Python на русском» – неофициальный перевод официальной документации Python: версии от 2.6 до 3.16, полнотекстовый поиск, английский оригинал рядом с переводом. Эта Markdown-версия страницы предназначена для работы с LLM: вставьте её в ChatGPT, Claude или Cursor.45---67# `urllib.robotparser` – Парсер robots.txt89Этот модуль предоставляет один класс [`RobotFileParser`](https://python-all.ru/3.0/library/urllib.robotparser.html#urllib.robotparser.RobotFileParser), который отвечает на вопросы, может ли конкретный пользовательский агент загрузить URL на веб-сайте, опубликовавшем файл `robots.txt`. Подробнее о структуре файлов `robots.txt` см. [http://www.robotstxt.org/orig.html](https://python-all.ru/3.0/library/urllib.robotparser.html).1011#### `[urllib.robotparser.RobotFileParser]class urllib.robotparser.RobotFileParser`1213Этот класс предоставляет набор методов для чтения, разбора и ответа на вопросы об одном `robots.txt` файле.1415#### `[urllib.robotparser.RobotFileParser.set_url]set_url(url)`1617Устанавливает URL, указывающий на файл1819`robots.txt`2021.2223#### `[urllib.robotparser.RobotFileParser.read]read()`2425Читает URL файла2627`robots.txt`2829и передает его парсеру.3031#### `[urllib.robotparser.RobotFileParser.parse]parse(lines)`3233Разбирает аргумент lines.3435#### `[urllib.robotparser.RobotFileParser.can_fetch]can_fetch(useragent, url)`3637Возвращает3839`True`4041, если4243*useragent*4445разрешено загружать4647*url*4849в соответствии с правилами, содержащимися в обработанном файле5051`robots.txt`5253.5455#### `[urllib.robotparser.RobotFileParser.mtime]mtime()`5657Возвращает время последней загрузки файла5859`robots.txt`6061. Это полезно для долго работающих веб-пауков, которым необходимо периодически проверять новые файлы6263`robots.txt`6465.6667#### `[urllib.robotparser.RobotFileParser.modified]modified()`6869Устанавливает время последней загрузки файла7071`robots.txt`7273на текущее время.7475Следующий пример демонстрирует базовое использование класса RobotFileParser.7677```python78>>> import urllib.robotparser79>>> rp = urllib.robotparser.RobotFileParser()80>>> rp.set_url("http://www.musi-cal.com/robots.txt")81>>> rp.read()82>>> rp.can_fetch("*", "http://www.musi-cal.com/cgi-bin/search?city=San+Francisco")83False84>>> rp.can_fetch("*", "http://www.musi-cal.com/")85True86```87