Компьютерный форум
Правила
Вернуться   Компьютерный форум > Форум программистов > Языки программирования > Вопросы начинающих программистов
Перезагрузить страницу Здравствуйте, как задать переход по страницам в диапазоне для сохранения в webarchive
Ответ
 
Опции темы Опции просмотра
  (#1 (permalink)) Старый
нубяра123 нубяра123 вне форума
Новичок
 
Сообщений: 2
Сказал(а) спасибо: 1
Поблагодарили 0 раз(а) в 0 сообщениях
Регистрация: 08.04.2017
Question Здравствуйте, как задать переход по страницам в диапазоне для сохранения в webarchive - 08.04.2017, 04:29

Конкретнее, хотелось бы сохранить один сайт в веб архив, но вручную это займёт много времени, чтобы сохранить, допустим, ссылку типа

https"//site.ru/theme/post/page/1/

нужно перейти по ссылке
http"//web.archive.org/save/https://site.ru/theme/post/page/1/

(мда, ну и защита от ботов, перебирал-перебирал, смог вместо двоеточия после названия протокола поставить " , очень неудобно)

Вот только, тут не одна и не две ссылки, поэтому вместо вбивания вручную
http"//web.archive.org/save/https://site.ru/theme/post/page/1/
http"//web.archive.org/save/https://site.ru/theme/post/page/2/
http"//web.archive.org/save/https://site.ru/theme/post/page/3/
и до, допустим
http"//web.archive.org/save/https://site.ru/theme/post/page/123/
лучше было бы автоматизировать

и чтобы не забанило как бота, т.е. нужен какой-то интервал между командами, допустим, секунды 4. Раньше я худо-бедно с этим справлялся через программу Automatic Mouse and Keyboard, но это слишком неудобно.

Т.е. , хотелось бы как-то автоматизировать этот процесс, неважно, какими средствами, неважно, в каком языке программирования (мой максимум — могу сделать калькулятор в бейсике, и то по инструкции), подойдут любые решения, хоть через тот же zennoposter (программа для seo задач), хоть как такое запустить через .bat-ник (если это возможно), или даже скрипт запущенный через инструменты разработчика в браузере (firefox), был бы очень благодарен за любое решение, или ссылке на тему форума/на другом сайте/видео, где рассматривается что-то подобное, тут даже не нужно никакой проверки наличия страниц для экономии времени (т.к. часть постов отсутствует, и выдаёт 404).

Последний раз редактировалось нубяра123; 08.04.2017 в 04:35
Ответить с цитированием
  (#2 (permalink)) Старый
Rius Rius вне форума
Программист
 
Аватар для Rius
 
Сообщений: 7,447
Сказал(а) спасибо: 22
Поблагодарили 944 раз(а) в 928 сообщениях
Регистрация: 27.08.2004
Адрес: Russian Federation
По умолчанию 08.04.2017, 19:21

Цитата:
Сообщение от нубяра123 Посмотреть сообщение
Раньше я худо-бедно с этим справлялся через программу Automatic Mouse and Keyboard, но это слишком неудобно.
AutoIt попробуйте.
Для FireFox есть плагин downthemall .
А так на любом подходящем современном языке программирования легко делается.
Ответить с цитированием
Пользователь сказал cпасибо:
нубяра123 (09.04.2017)
  (#3 (permalink)) Старый
нубяра123 нубяра123 вне форума
Новичок
 
Сообщений: 2
Сказал(а) спасибо: 1
Поблагодарили 0 раз(а) в 0 сообщениях
Регистрация: 08.04.2017
По умолчанию 09.04.2017, 09:24

"Для FireFox есть плагин downthemall ."
Мне не для сохранения для компьютер) А чисто чтоб по ссылкам на вроде второй переходило, тогда ссылка вида №1 сама сохранится в вебархив
Ну теперь хоть знаю, что что-то подобное, но без закачки на компьютер нужно искать среди дополнений firefox
Ответить с цитированием
  (#4 (permalink)) Старый
Rius Rius вне форума
Программист
 
Аватар для Rius
 
Сообщений: 7,447
Сказал(а) спасибо: 22
Поблагодарили 944 раз(а) в 928 сообщениях
Регистрация: 27.08.2004
Адрес: Russian Federation
По умолчанию 09.04.2017, 20:07

Ну сохраните, потом удалите, не страшно.
Искать вообще нужно скриптовые оболочки типа bash и утилиту curl, но для этого надо хоть немного уметь программировать.
Ответить с цитированием
Ads
Ответ

Опции темы
Опции просмотра

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.
Trackbacks are Вкл.
Pingbacks are Вкл.
Refbacks are Выкл.


Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Здравствуйте Maxim74 Ноутбуки 5 08.02.2013 15:25
Протабулировать функцию y на заданном диапазоне изменения аргумента с заданным шагом. testtest01 Pascal 0 09.06.2012 16:27
Функция рассеяния точки (airy-function) в OpenGL, построение кадра в ИК-диапазоне. Nikitun OpenGL 0 06.11.2011 22:26
Формирование из вещественных случайных чисел в диапазоне Domienfreema Вопросы начинающих программистов 2 24.02.2011 14:33
Здравствуйте. virus2710 Разное 3 10.01.2011 00:22
Как сгенерировать случайное число в заданном диапазоне чисел sannik Visual C++ 3 02.11.2008 13:39
поиск всех максимальных значений в диапазоне ewig Visual Basic 3 22.07.2006 18:32
Разбивка по страницам =kolya= PHP 4 13.04.2006 22:19
Функции srand() & rand() для генерации чисел в определенном диапазоне -=ANC=- Вопросы начинающих программистов 9 15.09.2005 18:07
Поиск по страницам Unnamed_Player PHP 1 15.07.2005 01:29
Как изменить PageControl чтобы не было видно ярлычков к страницам Arnold Lane C++ Builder 10 10.09.2004 12:22



Powered by vBulletin® Version 3.8.7
Copyright ©2000 - 2018, Jelsoft Enterprises Ltd.
Нardforum.ru - компьютерный форум и программирование, форум программистов