Как я могу очистить несколько страниц результатов поиска Amazon с помощью python?

Как я могу извлечь информацию о нескольких страницах результатов поиска из Amazon? Для 1-й страницы он работает правильно, но для других страниц он не работает должным образом, и результаты также не совпадают.

Детали YML-файла:

products:
    css: 'div[data-component-type="s-search-result"]'
    xpath: null
    multiple: true
    type: Text
    children:
        title:
            css: 'h2 a.a-link-normal.a-text-normal'
            xpath: null
            type: Text
        url:
            css: 'h2 a.a-link-normal.a-text-normal'
            xpath: null
            type: Link
        rating:
            css: 'div.a-row.a-size-small span:nth-of-type(1)'
            xpath: null
            type: Attribute
            attribute: aria-label
        reviews:
            css: 'div.a-row.a-size-small span:nth-of-type(2)'
            xpath: null
            type: Attribute
            attribute: aria-label
        price:
            css: 'span.a-price:nth-of-type(1) span.a-offscreen'
            xpath: null
            type: Text

Это функция, которую я использую

from selectorlib import Extractor
import requests 
import json 
from time import sleep
e = Extractor.from_yaml_file('search_result.yml')

def scrape(url):  

    headers = {
        'dnt': '1',
        'upgrade-insecure-requests': '1',
        'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36',
        'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
        'sec-fetch-site': 'same-origin',
        'sec-fetch-mode': 'navigate',
        'sec-fetch-user': '?1',
        'sec-fetch-dest': 'document',
        'referer': 'https://www.amazon.in/',
        'accept-language': 'en-GB,en-US;q=0.9,en;q=0.8',
    }

    # Download the page using requests
    print("Downloading %s"%url)
    r = requests.get(url, headers=headers)
    # Simple check to check if page was blocked (Usually 503)
    if r.status_code > 500:
        if "To discuss automated access to Amazon data please contact" in r.text:
            print("Page %s was blocked by Amazon. Please try using better proxies\n"%url)
        else:
            print("Page %s must have been blocked by Amazon as the status code was %d"%(url,r.status_code))
        return None
    # Pass the HTML of the page and create 
    return e.extract(r.text)
data = scrape('https://www.amazon.in/s?k=mobile')
print(data)

Для первой страницы он работает правильно, но при нажатии на следующую страницу URL-адрес также динамически изменяется, включая qid.

Пример второй ссылки: «https://www.amazon.in/s?k=mobile&page=2&qid=1602337497&ref=sr_pg_2».

когда я пытаюсь запустить цикл, я делаю URL-адрес следующим образом: «https://www.amazon.in/s?k=mobile&page={}».format(i).

Это также дает мне результат, но не тот результат, который я получаю, когда нажимаю на ссылку.

Как я могу очистить несколько страниц результатов поиска Amazon?


python web-scraping beautifulsoup amazon
person saptorshe das    schedule 10.10.2020    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Я смог найти это, это работает очень хорошо, просто используйте цикл на номере страницы:

import requests as r
import json

page_number = 1
my_url = 'https://www.amazon.in/s/query?k=mobile&page={}&qid=1604103880&ref=sr_pg_{}'.format(page_number, page_number)

res = r.post(my_url, data={"customer-action": "pagination"}, headers={'User-Agent': 'Mozilla/5.0'})
rows = res.text.split("&&&")
for row in rows:
    html_content = ''
    try:
        array = eval(row)
        json_data = json.loads(json.dumps(array[2]))
        index = json_data["index"]
        html_content = json_data["html"]
    except:
        pass
    # Perform your research, note that some rows don't concern the products
    print(html_content)
person b14d35    schedule 31.10.2020