🔁История обновлений
Youtube-Parser version history
История обновлений прежних версий
v5.0.5 📅28.01.2024
В парсинг поисковой выдачи через YouTube API была возращена возможность эмулировать страну и язык выдачи (эмуляция задаётся на вкладке дополнительных настроек и применяется как для YouTube API так и для InnerTube API) * эмуляция страны изменяет результаты выдачи не более, чем на 10%.
Улучшен парсинг последних видео на канале через YouTube API (ранее при парсинге любого количества последних видео с канала собирались все видео с канала, что кратно увеличивало время парсинга. Сейчас оба метода собирают все или указанное количество видео с канала)
Изменены параметры для автоматического прохождения таблички "соглашения на использование данных". (на свежих IP или случайное появление этой таблицы вызывало ошибку парсинга)
Исправлен баг из-за которого шаблон не прекращал работу, хотя должен. Это происходило при проверке списка прокси, в котором не было ни одного рабочего прокси
v5.0.4 📅09.01.2024
Добавлена возможность выбирать тип создаваемой таблицы-отчёта при скачивании видео или канала
Возможные варианты:
Нет – не создавать таблицу
Отчёт – создаётся таблица с основными данными видео: "Путь к видео", "Название", "Путь к обложке", "Описание", "Теги", "Длина видео", "URL видео".
Планировщик – создаётся таблица в формате "Планировщика" для подключения к YouTube-Uploader с данными: "Статус", "Видео", "Название", "Обложка", "Описание", "Теги", "Конечная заставка", "Подсказка", "Комментарий", "Дата отложенной публикации
Таблица полностью повторяет поля и их очерёдность планировщика, что даёт возможность не внося правок использовать её в YouTube-Uploader v5.0.
Настройка была перенесена со вкладки "Скачивание YouTube" на вкладку "Дополнительные настройки".
v5.0.3 📅12.08.2023
Исправлено скачивание прошедших стримов длиной от 2 часов
Исправлена ошибка: "Write Results. Document size exceed 16683050 limit" при сохранении данных комментариев с видео, если комментариев на одном видео более 10 000 шт.
v5.0.2 📅21.06.2023
Добавлен сбор видео со вкладки "Трансляции" через метод InnerTube API (при парсинге всех видео с канала методом InnerTube API будет собраны также трансляции)
В функции "Скачивание видео" и "Скачивание канала" добавлен новый тип видео "Трансляции" (сейчас можно выбрать какие видео скачивать с канала: "Все", "Видео", "Трансляции" или "Shorts"
Возвращена разбивка ссылок канала на категории по социальной сети при парсинге ссылок канала из раздела "О канале"
В дополнительных настройках добавлена опция "Выполнять задержку между запросами". Опция включает задержку в 1 секунду, которая позволяет обойти появление рекаптчи из-за частых запросов с одного IP. Опция работает только с функциями использующие метод парсинга InnerTube API. Также включать задержку имеет смысл только если не используются прокси.
v5.0.1 📅21.05.2023
В парсинг трендов добавлены категории: "Новости", "Музыка", "Видеоигры", "Фильмы" (по всем категориям доступен парсинг по странам) [Посмотреть примеры результатов
Исправлен парсинг поисковой выдачи через InnerTube API по поисковым запросам с кириллицей
v5.0 📅01.02.2023
Разделение парсера на методы: YouTube API и InnerTube API:
YouTube API - парсер будет использовать официальный YouTube API. Для этого метода нужны API ключи. Преимущество в скорости и стабильности парсинга. InnerTube API - парсер будет использовать внутренний (приватный) API, который использует сам YouTube для взаимодействия с пользователем и отображения контента. Для этого метода иногда требуется использовать прокси, если данных для парсинга много. Преимущество в возможности получать данные о монетизации канала и видео. Значительно медленнее, чем YouTube API.
Такие задания как: "Парсинг поисковой выдачи", Парсинг метаданных канала", "Парсинг метаданных видео" может выполняться двумя методами. Чтобы изменить метод парсинга необходимо на первой вкладке входных настроек изменить значение на желаемое. В заголовке настроек задания указано какой метод может быть использован. Некоторые задания используют только YouTube API или только InnerTube API. Если задание использует только InnerTube API или только YouTube API, то специально изменять метод под задание не нужно.
InnerTube API - это тот же "без API" как в 4 версии парсера, просто называется по другому. Он по прежнему является альтернативным методом. Рекомендуется использовать именно YouTube API из-за высокой скорости и стабильности.
Изменена логика входных настроек и упрощена настройка заданий парсинга: Тип собираемых данных и параметры задания разбиты на отдельные понятные вкладки, где задаются параметры каждого типа собираемых данных: "Поисковая выдача", "Каналы", "Видео", "Плейлисты", "Посты", "Скачивание из YouTube". Параметры задания унифицированы для двух методов парсинга. Можно менять метод парсинга не меняя параметры задания.
Упрощён выбор и заполнение входных данных для парсинга: Добавлены предустановленные текстовые файлы: "search_keywords", "channel_urls", "video_urls", "playlist_urls", "posts_ulrs", "thumbnails_urls", в которые добавляются все ключевые слова и ссылки для парсинга. Теперь нет необходимости менять источник и указывать путь к файлу для каждого задания. Все источники входных данных представлены 6 файлами, которые покрывают все задания
Добавлена автоматическая установка файлов проекта из архива. Ранее пользователи часто сталкивались с проблемой: "куда разархивировать файлы?". Сейчас достаточно указать лицензионный ключ, установить DLL-библиотеки и разместить архив рядом с файлом шаблона. Шаблон сам корректно разархивирует файлы и подготовит шаблон к работе.
[Важно!] Если случайно будет удалён какой-либо файл из файлов проекта, то шаблон может переустановить файлы из архива, что приведёт к утрате данных. После установки удалите архив с файлами проекта. Устанавливать файлы проекта можно также как раньше разархивировав архив в папку YouTube-Parser.
База данных и скорость сохранения результатов:
Ускорен парсинг в многопоточном режиме за счёт оптимизации записи данных в базу и отключении журнала.
Исправлено долгое сохранение результирующих таблиц. Ранее таблицы от 100 000 строк могли сохраняться невероятно долго. Сейчас таблица на 500 000 строк сохраняется не больше 3 минут.
Максимальное количество строк в одной таблице увеличено с 400 000 до 500 000 шт. При сохранении результатов на каждые 500 000 строк будет создаваться новая Excel-таблица.
Реализована горячая замена прокси: При парсинге большого объёма данных методом InnerTube API может появится каптча. При включении опции использования прокси, шаблон будет заменять прокси из файла в момент работы. Ранее замены не происходило, шаблон останавливался и затем стартовал новый поток, который брал новый прокси.
Скачивание из YouTube:
Улучшено скачивание видео и исправлено множество проблем связанных со скачиванием.
Добавлена возможность многопоточного скачивания видео.
Увеличена скорость скачивания благодаря подмене параметров передаваемых в YouTube из-за которых ограничивается скорость загрузки.
Добавлена возможность скачивать видео через "Socks" прокси.
Если при скачивании видео произошла ошибка, то шаблон выполнит повторные попытки скачать видео.
В уведомление о скачивании видео добавлен текст о качестве, продолжительности и размере конечного файла.
Добавлен новый источник скачивания видео - "Плейлист". Позволяет скачать все видео из плейлиста.
При склеивание видео с аудио при скачивании теперь происходит без рендера за 0.5 - 2 секунды. Исключение видео продолжительностью больше 1 часа.
При скачивании видео с канала можно выбрать какой тип видео скачивать: "Любые", "Видео", "Shorts". То есть сейчас можно выкачать с канала только вкладку "Shorts" или "Videos".
Функция "Копирование канала" изменена на "Скачивание канала".
Скачивать обложки к видео можно как по ссылкам на сами обложки, так и по ссылкам на видео.
В дополнительные настройки скачивания видео добавлена опция исключаяющая из названий скачанных видео и обложек информацию об "ID-видео".
Множество других исправлений связанных со стабильностью скачивания.
8. Добавлена поддержка всех типов URL-ссылок на каналы: ID: https://www.youtube.com/channel/UCkRfArvrzheW2E7b6SVT7vQ UserName: https://www.youtube.com/user/youtubecreators CustomName: https://www.youtube.com/c/youtubecreators HandleName: https://www.youtube.com/@youtubecreators Handle-ссылки можно указывать также в формате только юзернейма: @youtubecreators [Важно!] При парсинге методом YouTube API и указании ссылок c username будет происходить дополнительная конвертация username-канала в ID-канала. Это может увеличивать время парсинга. 9. Добавлена поддержка всех типов URL-ссылок на видео: ID: https://www.youtube.com /watch?v=ID Share: https://youtu.be /ID Embed: https://www.youtube.com /embed/ID Shorts: https://www.youtube.com /shorts/ID Ссылки на шортсы можно также указывать в формате: https://www.youtube.com /watch?v=ID 10. Данные каналов и видео: * В парсинг матаданных канала добавлена колонка с @_username канала. * При парсинге видео с канала методом "InnerTube API" теперь также собирается вкладка с Shorts видео. Shorts видео в таблице с результатами всегда будет идти после основных видео. * Добавлены новые колонки с данными в результирующие таблицы. 11. Монетизация: * Добавлен парсинг монетизации канала при парсинге методом InnerTube API. * Парсинг монетизации видео теперь неплатная функция. Данные о монетизации видео записываются в отдельную колонку при парсинге метаданных видео методом InnerTube API.
Фильтрация данных: Изменена логика предварительной фильтрации видео, каналов, комментариев. Теперь значения для фильтрации указываются не в диапазоне, а только "от" или "до". Если вам необходимо использовать диапазон данных и больше свободы в фильтрах, то фильтруйте уже в готовых таблицах Excel. Скорость парсинга при включении или отключении фильтрации не изменяется, так как данные в любом случае запрашиваются из YouTube.
В парсинг метаданных каналов добавлены критерии фильтрации по году и стране.
В парсиннг метаданных видео добавлены критерии фильтрации по количеству лайков и дате публикации. С этим добавилась возможность собирать последние видео канала комбинируя их с критериями по количеству лайков или дате публикации.
В парсинг метаданных комментариев видео добавлены критерии фильтрации по тексту комментария, количество лайков и дате публикации.
В парсинг метаданных комментариев постов канала добавлены критерии фильтрации по тексту комментария и количеству лайков.
[Важно!] При фильтрации по стране канала: если автор канал не указал, то канал будет пропущен как несоответствующий условию.
Удалены редко используемые функции:
Парсинг поисковой выдачи по датам
Парсинг количества видео в поисковой выдаче по поисковому запросу
Анализ позиций видео
Парсинг похожих видео
Парсинг подписчиков
Удалена возможность парсить описание видео (почта, ссылка, телефон)
Удалены часть фильтров при парсинге поисковой выдачи методом YouTube API. Если считаете, что какая-то функция всё-таки нужна и приносила пользу, пишите в ЛС.
В заключении: YouTube-Parser v5.0 - это полностью переработанный шаблон. Было изменено до 90% кода. Шаблон максимально адаптирован под все текущие изменения YouTube, а также переписан с целью повысить стабильность и упростить добавление новых функций.
Last updated