Модуль запросов может помочь нам построить URL-адреса и динамически управлять значением URL-адреса. Любой подкаталог URL-адреса может быть выбран программно, а затем некоторая его часть может быть заменена новыми значениями для создания новых URL-адресов.
Build_URL
В приведенном ниже примере используется urljoin для извлечения различных подпапок в пути URL. Метод urljoin используется для добавления новых значений в базовый URL.
from requests.compat import urljoin base='https://stackoverflow.com/questions/3764291' print urljoin(base,'.') print urljoin(base,'..') print urljoin(base,'...') print urljoin(base,'/3764299/') url_query = urljoin(base,'?vers=1.0') print url_query url_sec = urljoin(url_query,'#section-5.4') print url_sec
Когда мы запускаем вышеуказанную программу, мы получаем следующий вывод:
https://stackoverflow.com/questions/ https://stackoverflow.com/ https://stackoverflow.com/questions/... https://stackoverflow.com/3764299/ https://stackoverflow.com/questions/3764291?vers=1.0 https://stackoverflow.com/questions/3764291?vers=1.0#section-5.4
Разделить URL-адреса
URL-адреса также могут быть разбиты на множество частей за пределами основного адреса. Дополнительные параметры, которые используются для конкретного запроса или тегов, прикрепленных к URL, разделяются с помощью метода urlparse, как показано ниже.
from requests.compat import urlparse url1 = 'https://docs.python.org/2/py-modindex.html#cap-f' url2='https://docs.python.org/2/search.html?q=urlparse' print urlparse(url1) print urlparse(url2)
Когда мы запускаем вышеуказанную программу, мы получаем следующий вывод: