Этот скрипт отвечает за сбор новых ссылок и работает по методу Round Robin (Справедливая очередь):

• Он не смешивает все сайты в одну кучу, а создает для каждого отдельную «корзину».
• Забирает от каждого сайта ровно столько ссылок, сколько позволяет его дневной лимит, указанный в настройках.
• Всё, что не поместилось в лимит сегодня, сохраняется в файл «остатков» и гарантированно пойдет первым в очереди завтра.

1. Сбор: Скрипт обходит все ссылки из sitemap_urls.txt. Умеет читать вложенные карты (индекс сайтмапов).
2. Фильтрация: Автоматически удаляет дубликаты и отсеивает технические страницы (рубрики, теги, страницы авторов и результаты поиска).
3. Слияние (Smart Merge): Скрипт берет новые ссылки и соединяет их со вчерашними остатками из файла. Старые страницы всегда ставятся в начало очереди.
4. Применение лимитов: Берет квоту из limits.txt (например, 150). Отбирает 150 ссылок в файл paid.csv, а остальные сохраняет обратно в остатки.

Этот скрипт («Yandex Index Checker») экономит ваши суточные лимиты в Яндексе, предотвращая повторную отправку страниц, которые уже находятся в поиске или находятся в процессе индексации.

• Чтение: Скрипт загружает файл, сформированный на первом шаге.
• Авторизация и синхронизация: Подключается к API Яндекс.Вебмастера через OAuth-токен, автоматически получает список всех подтверждённых доменов (хостов) из вашего аккаунта. Маппинг домен происходит на лету.
• Точечная проверка: Вместо выгрузки тяжёлых архивов, скрипт отправляет в API запрос по каждому URL отдельно, запрашивая актуальный статус индексации (INDEXED, NOT_INDEXED, PENDING, EXCLUDED и др.).
• Фильтрация: Страницы со статусом INDEXED или PENDING (уже в работе) — исключаются из списка. Страницы со статусом NOT_INDEXED, UNKNOWN, EXCLUDED или BLOCKED_BY_ROBOTS — попадают в итоговый файл.
• Безопасность и скорость: Запросы выполняются параллельно (по 3 потока), с автоматической задержкой и повторными попытками при ошибках сети или лимитах API. Локальное кэширование не требуется — проверка всегда идёт по свежим данным с серверов Яндекса.
• Результат: Формируется файл, содержащий только те ссылки, которые реально нуждаются в отправке на переобход. Исходный файл остаётся без изменений.

Как работает скрипт «Yandex Auto Indexer»:

1. Скрипт авторизуется в Яндексе через ваш OAuth-токен.
2. Берет список чистых ссылок и по одной отправляет их в инструмент «Переобход страниц».
3. Собирает ответы от серверов Яндекса (успешно отправлено, или возникла ошибка, например, QUOTA_EXCEEDED при исчерпании лимита).
4. Результат: Формирует подробный отчет, где напротив каждой ссылки указан ее статус.

Для корректной работы в одной папке должны находиться:

• список ссылок на карты сайтов (по одной на строку).
• лимиты для каждого домена (формат domain.com:150).

• хранилище «хвостов» (очередей) на следующие дни.
• кэш проиндексированных страниц (удалите их, если хотите принудительно обновить базу).
• итоговый отчет об успешности отправки.

1. Запуск: Весь процесс запускается кликом по одному файлу.bat.
2. Планировщик: Рекомендуется настроить Планировщик задач Windows на запуск этого .bat файла раз в сутки (например, ночью или рано утром).
3. Уведомления: На первом шаге в Telegram приходит системное уведомление с краткой сводкой (сколько ссылок собрано, у каких сайтов самые большие очереди).
4. Добавление нового сайта: Просто впишите его сайтмап в файл и лимит. Вся остальное (кэширование, проверка, отправка) произойдет автоматически.