Парсер для интернет-магазина на 1С-Битрикс: редакции, готовые решения и пример с конвертацией валюты

<?php
// чтобы скрипт работал из консоли/крона, а не только из веб-контекста
$_SERVER['DOCUMENT_ROOT'] = '/var/www/bitrix';
define('NO_KEEP_STATISTIC', true);
define('NOT_CHECK_PERMISSIONS', true);
define('BX_NO_ACCELERATOR_RESET', true);

require $_SERVER['DOCUMENT_ROOT'] . '/bitrix/modules/main/include/prolog_before.php';

use Bitrix\Main\Loader;

Loader::includeModule('iblock');    // инфоблоки (каталог)
Loader::includeModule('catalog');   // торговый каталог (цены, остатки)
Loader::includeModule('currency');  // модуль валют (курсы ЦБ)

<?php
class CurrencyConverter
{
    public function __construct(
        private string $from = 'USD',
        private string $to = 'RUB',
        private float $markup = 1.20   // наценка магазина: +20%
    ) {}

    /** Цена поставщика -> цена магазина по курсу Битрикса + наценка. */
    public function convert(?float $amount): ?float
    {
        if ($amount === null) {
            return null;
        }
        // ConvertCurrency сам берёт актуальный курс из модуля валют
        $converted = \CCurrencyRates::ConvertCurrency($amount, $this->from, $this->to);
        return round($converted * $this->markup, 2);
    }
}

<?php
class SupplierParser
{
    public function __construct(
        private string $baseUrl,
        private CurrencyConverter $converter,
        private float $delay = 1.0
    ) {}

    private function getHtml(string $url): string
    {
        $ch = curl_init($url);
        curl_setopt_array($ch, [
            CURLOPT_RETURNTRANSFER => true,
            CURLOPT_FOLLOWLOCATION => true,
            CURLOPT_TIMEOUT        => 20,
            CURLOPT_USERAGENT      => 'Mozilla/5.0 (compatible; CatalogImporter/1.0)',
        ]);
        $html = curl_exec($ch);
        if ($html === false) {
            throw new RuntimeException('cURL: ' . curl_error($ch));
        }
        curl_close($ch);
        return $html;
    }

    private function xpath(string $html): DOMXPath
    {
        $doc = new DOMDocument();
        libxml_use_internal_errors(true);
        $doc->loadHTML('<?xml encoding="UTF-8">' . $html);
        libxml_clear_errors();
        return new DOMXPath($doc);
    }

    private function absolute(string $href): string
    {
        return str_starts_with($href, 'http')
            ? $href
            : rtrim($this->baseUrl, '/') . '/' . ltrim($href, '/');
    }

    /** Ссылки на товары со страниц каталога с пагинацией. */
    public function parseCatalog(string $path, int $maxPages = 5): array
    {
        $urls = [];
        for ($page = 1; $page <= $maxPages; $page++) {
            $xp = $this->xpath($this->getHtml($this->absolute("{$path}?page={$page}")));
            $links = $xp->query("//div[contains(@class,'product-card')]//a[contains(@class,'product-link')]");
            if ($links->length === 0) {
                break;
            }
            foreach ($links as $a) {
                $urls[] = $this->absolute($a->getAttribute('href'));
            }
            usleep((int)($this->delay * 1_000_000));
        }
        return $urls;
    }

    /** Разбор одной карточки. */
    public function parseProduct(string $url): array
    {
        $xp = $this->xpath($this->getHtml($url));
        $text = fn(string $q) => trim($xp->query($q)->item(0)?->textContent ?? '');

        $name     = $text("//h1[contains(@class,'product-title')]") ?: 'Без названия';
        $sku      = $text("//*[contains(@class,'sku')]");
        $descr    = $text("//*[contains(@class,'product-description')]");
        $priceRaw = $text("//*[contains(@class,'price')]//*[contains(@class,'value')]");

        $imgNode  = $xp->query("//*[contains(@class,'product-gallery')]//img")->item(0);
        $imageUrl = $imgNode ? $this->absolute($imgNode->getAttribute('src')) : '';

        $priceSource = null;
        if ($priceRaw !== '') {
            $digits = preg_replace('/[^0-9.]/', '', str_replace(',', '.', $priceRaw));
            $priceSource = $digits !== '' ? (float)$digits : null;
        }

        usleep((int)($this->delay * 1_000_000));

        return [
            'name'         => $name,
            'sku'          => $sku,
            'description'  => $descr,
            'image_url'    => $imageUrl,
            'price_source' => $priceSource,
            'price'        => $this->converter->convert($priceSource), // конвертация
            'source_url'   => $url,
        ];
    }
}

<?php
class BitrixImporter
{
    public function __construct(
        private int $iblockId,         // ID инфоблока каталога
        private int $sectionId,        // раздел (категория) по умолчанию
        private string $priceCurrency = 'RUB'
    ) {}

    /** Ищем товар по внешнему коду, чтобы не плодить дубли. */
    private function findByXmlId(string $xmlId): ?int
    {
        $res = \CIBlockElement::GetList(
            [],
            ['IBLOCK_ID' => $this->iblockId, 'XML_ID' => $xmlId],
            false, false, ['ID']
        );
        $row = $res->Fetch();
        return $row ? (int)$row['ID'] : null;
    }

    public function import(array $p): int
    {
        $el = new \CIBlockElement();
        $xmlId = $p['sku'] !== '' ? $p['sku'] : md5($p['source_url']);

        $fields = [
            'IBLOCK_ID'         => $this->iblockId,
            'IBLOCK_SECTION_ID' => $this->sectionId,
            'NAME'              => $p['name'],
            'XML_ID'            => $xmlId,                 // внешний код = артикул донора
            'DETAIL_TEXT'       => $p['description'],
            'DETAIL_TEXT_TYPE'  => 'html',
            'ACTIVE'            => 'Y',
        ];

        // картинку скачиваем и привязываем (если донор отдаёт)
        if ($p['image_url'] !== '') {
            $file = \CFile::MakeFileArray($p['image_url']);
            if ($file) {
                $fields['DETAIL_PICTURE'] = $file;
            }
        }

        $existingId = $this->findByXmlId($xmlId);
        if ($existingId) {
            // товар уже есть — обновляем (без перезаписи картинки)
            unset($fields['DETAIL_PICTURE'], $fields['XML_ID']);
            $el->Update($existingId, $fields);
            $productId = $existingId;
        } else {
            $productId = $el->Add($fields);
            if (!$productId) {
                throw new RuntimeException('CIBlockElement: ' . $el->LAST_ERROR);
            }
        }

        // карточка торгового каталога (остаток)
        \CCatalogProduct::Add([
            'ID'                => $productId,
            'QUANTITY'          => 100,
            'AVAILABLE'         => 'Y',
        ]);

        // базовая цена (уже сконвертированная и с наценкой)
        if ($p['price'] !== null) {
            \CPrice::SetBasePrice($productId, $p['price'], $this->priceCurrency);
        }

        return (int)$productId;
    }
}

<?php
// после блока подключения ядра (Шаг 0) и классов выше:

$converter = new CurrencyConverter('USD', 'RUB', 1.25);
$parser    = new SupplierParser('https://supplier-example.com', $converter, 1.0);
$importer  = new BitrixImporter(iblockId: 12, sectionId: 47, priceCurrency: 'RUB');

$urls = $parser->parseCatalog('/catalog/category-1', maxPages: 3);
echo 'Найдено товаров: ' . count($urls) . PHP_EOL;

$imported = 0;
foreach ($urls as $url) {
    try {
        $product = $parser->parseProduct($url);
        if ($product['price'] === null) {
            echo "Пропуск (нет цены): {$url}" . PHP_EOL;
            continue;
        }
        $id = $importer->import($product);
        $imported++;
        printf("[%d] %s — %s USD -> %s ₽  (ID %d)%s",
            $imported, $product['name'], $product['price_source'], $product['price'], $id, PHP_EOL);
    } catch (Throwable $e) {
        echo "Ошибка на {$url}: {$e->getMessage()}" . PHP_EOL;
    }
}

echo "Готово. Импортировано/обновлено: {$imported}" . PHP_EOL;

# каждый день в 4:00 синхронизируем каталог с поставщиком
0 4 * * * /usr/bin/php /var/www/bitrix/local/parser/run.php >> /var/www/bitrix/local/parser/parser.log 2>&1

import csv
import time
import requests
import xml.etree.ElementTree as ET
from bs4 import BeautifulSoup
from urllib.parse import urljoin
from datetime import date

class CbrRate:
    """Курс ЦБ РФ с кешем на день."""
    URL = "https://www.cbr.ru/scripts/XML_daily.asp"

    def __init__(self, currency="USD"):
        self.currency = currency
        self._rate = None
        self._date = None

    def rate(self):
        if self._rate is None or self._date != date.today():
            r = requests.get(self.URL, timeout=15)
            r.encoding = "windows-1251"
            tree = ET.fromstring(r.text)
            for v in tree.findall("Valute"):
                if v.find("CharCode").text == self.currency:
                    nominal = int(v.find("Nominal").text)
                    value = float(v.find("Value").text.replace(",", "."))
                    self._rate = value / nominal
                    self._date = date.today()
                    break
        return self._rate


def parse_and_export(base_url, catalog_path, out_csv,
                     currency="USD", markup=1.25, max_pages=3, delay=1.0):
    cbr = CbrRate(currency)
    session = requests.Session()
    session.headers["User-Agent"] = "Mozilla/5.0 (compatible; CatalogImporter/1.0)"

    rows = []
    for page in range(1, max_pages + 1):
        soup = BeautifulSoup(
            session.get(f"{base_url}{catalog_path}?page={page}", timeout=20).text, "lxml"
        )
        cards = soup.select(".product-card a.product-link")
        if not cards:
            break
        for a in cards:
            url = urljoin(base_url, a["href"])
            ps = BeautifulSoup(session.get(url, timeout=20).text, "lxml")

            name = ps.select_one("h1.product-title")
            sku = ps.select_one(".sku")
            descr = ps.select_one(".product-description")
            price_el = ps.select_one(".price .value")
            img = ps.select_one(".product-gallery img")

            price_src = None
            if price_el:
                digits = "".join(c for c in price_el.text if c.isdigit() or c == ".")
                price_src = float(digits) if digits else None

            # конвертация валюты: курс ЦБ * наценка
            price_rub = round(price_src * cbr.rate() * markup, 2) if price_src else ""

            rows.append({
                "XML_ID": sku.text.strip() if sku else url,
                "NAME": name.text.strip() if name else "Без названия",
                "DETAIL_TEXT": descr.decode_contents().strip() if descr else "",
                "PRICE": price_rub,
                "CURRENCY": "RUB",
                "PICTURE": urljoin(base_url, img["src"]) if img else "",
            })
            time.sleep(delay)
        time.sleep(delay)

    # CSV под штатный импорт Торгового каталога (разделитель ;)
    with open(out_csv, "w", newline="", encoding="utf-8-sig") as f:
        writer = csv.DictWriter(f, fieldnames=rows[0].keys(), delimiter=";")
        writer.writeheader()
        writer.writerows(rows)

    print(f"Готово. Записано строк: {len(rows)} -> {out_csv}")


if __name__ == "__main__":
    parse_and_export(
        base_url="https://supplier-example.com",
        catalog_path="/catalog/category-1",
        out_csv="import.csv",
    )