Легионер
Активный участник
Легионер
Активный участник
- Регистрация
- 17 Фев 2020
- Сообщения
- 63
- Реакции
- 8
- Репутация
- 0
Для начала нам понадобятся рабочие прокси, их мы можем найти в списке:
Теперь нам нужно проверить их на валид, я буду использовать "unfx-proxy-checker". По моему мнению это лучший чекер проксей.
Скачиваем с офф. сайта -
Мой конфиг - (в нём вписано 60+ судей прокси (Proxy Judges) они нужны нам для проверки прокси)
Заходим в программу.
Теперь нам нужно проверить наши прокси на валид.
Выставляем нужные нам настройки (потоки выкручиваем на максимум, таймаут и количество попыток по желанию. Выбираем тип наших проксей, я буду проверять Socks4).
Загружаем прокси из файла и нажимаем Check.
Ждём пока проверятся наши судьи прокси.
Началась проверка наших прокси.
Затем жмём кнопку Export, чтобы сохранить наши прокси.
Теперь у нас есть прокси Socks4, следующим нашим действием будет поиск прокси сайтов, на которых побывали наши прокси, чтобы спарсить ещё больше прокси и проверить на валид.
Далее нам потребуется парсер ссылок по запросам, я буду использовать YaGo Parser v4.3 By CyberBro.
Скачать -
Открываем софт.
Затем нам необходимо вписать наши "Ключевые слова(Keywords)", туда мы будем вписывать наши прокси, которые мы проверили на валид.
Выставляем нужные нам настройки, а именно поисковую систему (желательно Google), прокси и ядра.
В качестве проксей можем использовать те, которые проверили на валид.
Жмём кнопку Start Parsing.
Парсер начал свою работу
UPD: Желательно поставьте в этом пункте галочку, если у вас не будут парсится ссылки, попробуйте новые прокси (лучше всего подходят HTTPS).
Начался сбор ссылок.
Чем больше ждём, тем больше ссылок, следовательно проксей.
Я не стал дожидаться конца работы программы и остановил на том моменте, когда набралось почти 3к ссылок.
У нас создался текстовый документ, в котором находятся ссылки.
Дальше нам нужно отсортировать битые ссылки.
Заходим в Notepad++.
Жмём ctrl+f, у нас открывается поиск, заходим во вкладку пометки.
Ставим галочку напротив пункта "Помечать Закладкой".
Далее смотрим на ссылки которые есть в нашем документе.
*Красной обводкой помечен мусор.
Чтобы от него избавиться вписываем что-то общее между ссылками.
В нашем случае, это слово Search. Жмём кнопку пометить всё.
Далее удалим ссылки гугла. После того, как мы пометили мусорные ссылки, заходим во вкладку поиск, закладки, удалить все строки с закладкой.
Отлично! Мы удалили мусор (не весь конечно, но парсеру проксей уже будет легче). Теперь нам необходимо спарсить эти прокси.
В качестве парсера проксей я буду использовать софт, который называется unfx-proxy-parser.
Скачать -
Запускаем программу.
Выставляем мои настройки.
Следующим действием необходимо вставить наши ссылки и нажать кнопку Parse.
Начался парс проксей.
Когда процесс закончится, вы увидите это.
Это значит, что мы спарсили 480к прокси. Дальше нужно их сохранить, жмём на кнопку сохранения (дискету).
Ждём пока появиться файл там, где мы сохраняли прокси.
Ну всё, теперь нам нужно только проверить эти прокси.
Заходим в самую первую программу. Повторяем те же действия и ждём.
В итоге мы получаем прокси.
Ну вот и все!
Вы великолепны и получили прокси, которые стоят денег - совершенно бесплатно.
Второй способ:
Пишем в любом поисковике следующую фразу: ”:6588″ ”:8080″ ”:3128″ ”:80″ filetype:txt
P.S. Желательно сортировать по дате да бы были свежие прокси.
После берём всё ссылки и собираем HTML с проксями этим софтом HTML Parser -
HTML Universal Soft - универсальная утилита для работы с HTML.
Функции:
1) Парсинг HTML
2) Обработка HTML через RegEx
3) Генерация ссылок (bhf-[N])
P.S. RegEx пока что выдаёт ошибки при работе с большими файлами.
P.S. RegEx пока что выдаёт ошибки при работе с большими файлами.
Второй парсер
Затем собираем наши прокси регуляркой - \b(?
?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.){3}(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\b:\d{2,5}
Добыча GOOGLE proxy
Теперь нам нужно проверить их на валид, я буду использовать "unfx-proxy-checker". По моему мнению это лучший чекер проксей.
Скачиваем с офф. сайта -
Мой конфиг - (в нём вписано 60+ судей прокси (Proxy Judges) они нужны нам для проверки прокси)
Заходим в программу.
Теперь нам нужно проверить наши прокси на валид.
Выставляем нужные нам настройки (потоки выкручиваем на максимум, таймаут и количество попыток по желанию. Выбираем тип наших проксей, я буду проверять Socks4).
Загружаем прокси из файла и нажимаем Check.
Ждём пока проверятся наши судьи прокси.
Началась проверка наших прокси.
Затем жмём кнопку Export, чтобы сохранить наши прокси.
Теперь у нас есть прокси Socks4, следующим нашим действием будет поиск прокси сайтов, на которых побывали наши прокси, чтобы спарсить ещё больше прокси и проверить на валид.
Далее нам потребуется парсер ссылок по запросам, я буду использовать YaGo Parser v4.3 By CyberBro.
Скачать -
Открываем софт.
Затем нам необходимо вписать наши "Ключевые слова(Keywords)", туда мы будем вписывать наши прокси, которые мы проверили на валид.
Выставляем нужные нам настройки, а именно поисковую систему (желательно Google), прокси и ядра.
В качестве проксей можем использовать те, которые проверили на валид.
Жмём кнопку Start Parsing.
Парсер начал свою работу
UPD: Желательно поставьте в этом пункте галочку, если у вас не будут парсится ссылки, попробуйте новые прокси (лучше всего подходят HTTPS).
Начался сбор ссылок.
Чем больше ждём, тем больше ссылок, следовательно проксей.
Я не стал дожидаться конца работы программы и остановил на том моменте, когда набралось почти 3к ссылок.
У нас создался текстовый документ, в котором находятся ссылки.
Дальше нам нужно отсортировать битые ссылки.
Заходим в Notepad++.
Жмём ctrl+f, у нас открывается поиск, заходим во вкладку пометки.
Ставим галочку напротив пункта "Помечать Закладкой".
Далее смотрим на ссылки которые есть в нашем документе.
*Красной обводкой помечен мусор.
Чтобы от него избавиться вписываем что-то общее между ссылками.
В нашем случае, это слово Search. Жмём кнопку пометить всё.
Далее удалим ссылки гугла. После того, как мы пометили мусорные ссылки, заходим во вкладку поиск, закладки, удалить все строки с закладкой.
Отлично! Мы удалили мусор (не весь конечно, но парсеру проксей уже будет легче). Теперь нам необходимо спарсить эти прокси.
В качестве парсера проксей я буду использовать софт, который называется unfx-proxy-parser.
Скачать -
Запускаем программу.
Выставляем мои настройки.
Следующим действием необходимо вставить наши ссылки и нажать кнопку Parse.
Начался парс проксей.
Когда процесс закончится, вы увидите это.
Это значит, что мы спарсили 480к прокси. Дальше нужно их сохранить, жмём на кнопку сохранения (дискету).
Ждём пока появиться файл там, где мы сохраняли прокси.
Ну всё, теперь нам нужно только проверить эти прокси.
Заходим в самую первую программу. Повторяем те же действия и ждём.
В итоге мы получаем прокси.
Ну вот и все!
Вы великолепны и получили прокси, которые стоят денег - совершенно бесплатно.
Второй способ:
Пишем в любом поисковике следующую фразу: ”:6588″ ”:8080″ ”:3128″ ”:80″ filetype:txt
P.S. Желательно сортировать по дате да бы были свежие прокси.
После берём всё ссылки и собираем HTML с проксями этим софтом HTML Parser -
HTML Universal Soft - универсальная утилита для работы с HTML.
Функции:
1) Парсинг HTML
2) Обработка HTML через RegEx
3) Генерация ссылок (bhf-[N])
P.S. RegEx пока что выдаёт ошибки при работе с большими файлами.
P.S. RegEx пока что выдаёт ошибки при работе с большими файлами.
Второй парсер
Затем собираем наши прокси регуляркой - \b(?
?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.){3}(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\b:\d{2,5}Добыча GOOGLE proxy