Экспорт фидов — это метод хранения данных, извлеченных с сайтов, который создает «файл экспорта» .
Форматы сериализации
Используя несколько форматов сериализации и хранилища данных, Feed Exports использует экспортеры элементов и генерирует ленту с очищенными элементами.
В следующей таблице приведены поддерживаемые форматы
| Sr.No | Формат и описание |
|---|---|
| 1 |
JSON FEED_FORMAT — это JSON Используется экспортер класса scrapy.exporters.JsonItemExporter |
| 2 |
Строки JSON FEED_FROMAT — это jsonlines Используется экспортер класса scrapy.exporters.JsonLinesItemExporter |
| 3 |
CSV FEED_FORMAT — это CSV Используемым экспортером является класс scrapy.exporters.CsvItemExporter |
| 4 |
XML FEED_FORMAT — это xml Используется экспортер класса scrapy.exporters.XmlItemExporter |
JSON
FEED_FORMAT — это JSON
Используется экспортер класса scrapy.exporters.JsonItemExporter
Строки JSON
FEED_FROMAT — это jsonlines
Используется экспортер класса scrapy.exporters.JsonLinesItemExporter
CSV
FEED_FORMAT — это CSV
Используемым экспортером является класс scrapy.exporters.CsvItemExporter
XML
FEED_FORMAT — это xml
Используется экспортер класса scrapy.exporters.XmlItemExporter
Используя настройки FEED_EXPORTERS , поддерживаемые форматы также могут быть расширены —
| Sr.No | Формат и описание |
|---|---|
| 1 |
Соленый огурец FEED_FORMAT это пикель Используется экспортер класса scrapy.exporters.PickleItemExporter |
| 2 |
маршал FEED_FORMAT является маршалом Используется экспортер класса scrapy.exporters.MarshalItemExporter |
Соленый огурец
FEED_FORMAT это пикель
Используется экспортер класса scrapy.exporters.PickleItemExporter
маршал
FEED_FORMAT является маршалом
Используется экспортер класса scrapy.exporters.MarshalItemExporter
Хранение Backends
Бэкэнд хранилища определяет, где хранить канал, используя URI.
В следующей таблице приведены поддерживаемые бэкэнды хранилища.
| Sr.No | Хранение Backend & Описание |
|---|---|
| 1 |
Локальная файловая система Схема URI является файловой и используется для хранения каналов. |
| 2 |
FTP Схема URI — ftp, и она используется для хранения каналов. |
| 3 |
S3 Схема URI — S3, а каналы хранятся в Amazon S3. Требуются внешние библиотеки botocore или boto . |
| 4 |
Стандартный вывод Схема URI — это стандартный вывод, и каналы сохраняются для стандартного вывода. |
Локальная файловая система
Схема URI является файловой и используется для хранения каналов.
FTP
Схема URI — ftp, и она используется для хранения каналов.
S3
Схема URI — S3, а каналы хранятся в Amazon S3. Требуются внешние библиотеки botocore или boto .
Стандартный вывод
Схема URI — это стандартный вывод, и каналы сохраняются для стандартного вывода.
Параметры URI хранилища
Ниже приведены параметры URL-адреса хранилища, который заменяется при создании канала.
- % (время) с: этот параметр заменяется меткой времени.
- % (name) s: этот параметр заменяется именем паука.
настройки
В следующей таблице приведены параметры, с помощью которых можно настроить экспорт каналов.
FEED_URI
Это URI фида экспорта, используемый для включения экспорта фидов.
FEED_FORMAT
Это формат сериализации, используемый для канала.
FEED_EXPORT_FIELDS
Используется для определения полей, которые необходимо экспортировать.
FEED_STORE_EMPTY
Определяет, экспортировать ли каналы без элементов.
FEED_STORAGES
Это словарь с дополнительными хранилищами каналов.
FEED_STORAGES_BASE
Это словарь со встроенным хранилищем каналов.
FEED_EXPORTERS
Это словарь с дополнительными кормами для экспортеров.
FEED_EXPORTERS_BASE
Это словарь со встроенными фидами экспортеров.