Вопрос который является заголовком этого материала поначалу вызывает у обычного современного пользователя полное недоумение. Зачем скачивать сайты, если они и так всегда под рукой? Однако, старые интернетчики и, как показывает жестокая действительность, знают, что это далеко не так.

Я не буду здесь указывать на причины, почему в одно мгновение некоторые, порой очень полезные сайты навсегда исчезают с просторов Интернет. Предлагаю всего лишь ознакомиться с сервисами и программами, которые можно использовать для сохранения сайтов и последующим их просмотром на своём компьютере.


Особенно полезно использовать такую возможность в случае скачивания огромного количества страниц или сайта целиком. Для меня таким случаем, стала потребность скачать с одного из образовательных сайтов все pdf документы. Рассмотрим программы и онлайн-сервисы для скачивания сайтов.

Программы для скачивания сайтов

Подобного рода оффлайн-программы позволят вам скачать указанный раздел или сайт целиком, что может понадобиться в разных случаях. Самое полезное в сохранении сайта на жестком диске, то, что он сохраняется вместе с внутренней системой ссылок.


Оффлайн-браузеры, создают копию всех доступных директорий сайта, что позволяет вам переходить по ссылкам так, как вы делаете на обычном сайте в интернет. В пределах скачанного сайта вы сможете пользоваться всеми разделами и меню.


Кроме того, программы способны распознавать скрипты, интерпретируя их, и тем самым давая возможность использовать их в скачанной копии сайта. При закачке сайта сохраняется полный список файлов вместе со ссылками на них, что дает вам, возможно, не только просматривать страницы, но также слушать музыку и даже смотреть видео.




Одной из самых популярных программ подобного рода является HTTrack WebSite Copier. Её популярность объясняется простым и понятным интерфейсом, поддержкой русского языка, кроссплатформенностью и абсолютной бесплатностью!




Установка приложения выполняется на английском языке, после установки в настройках есть возможность выбора русского языка. Скачивание вебсайта производится с помощью мастера.








Одна из лучших платных программ для закачки сайтов целиком. Цена одной лицензии составляет 50 долларов. В неё нет поддержки русского языка, но интерфейс прост и его быстро можно освоить. Следует отметить что программа уже давно не обновлялась. Как впрочем, и многие другие программы подобного класса.




Позволяет выполнять на веб-странице поиск файлов определенного типа, размера, а также поиск по ключевым словам, формировать список всех страниц и файлов сайта.


Программа создана в компании Metaproducts, для работы в среде Windows. Стоимость самой простой лицензии Standard составляет порядка 60 долларов.


За эти деньги пользователь получает возможность скачивать не только html-страницы, но и потоковое аудио и видео.




Имеет современный интерфейс, в котором приятно работать, а также множество разнообразных настроек и функций, среди которых возможность одновременной обработки до 500 сайтов, загрузка запароленных сайтов, наличие собственного веб-сервера для комфортного просмотра скачанных ресурсов.


Важно! Одной из приятных особенностей программы является поддержка функции Drag–n–Drop, которая позволяет сохранять страницы путем их перетаскивания из браузера в программу.



Website Extractor

Программа для загрузки сайтов на жесткий диск.


приложение, позволяющее скачивать из интернета сайты целиком (или частично - по желанию). Программа относится к классу т.н. "оффлайновых" браузеров.



WebTransporter

Программа, позволяющая скачивать сайты и просматривать их офлайн.




это программа, установив которую, вы сможете просматривать необходимые вам страницы Интернета без подключения к сети.


Программа, которая позволяет сохранять на вашем жестком диске структуру веб-сайтов, а также каталоги товаров и прочее.




Программа анализирует веб-страницы и ищет на них заданную информацию.



SurfOffline

Разработчики предлагают 30-дневный испытательный срок чтобы протестировать все возможности программы.
Сохранение сайта происходит через мастер. Программа позволяет скачивать как весь сайт так и отдельные страницы.

Таблица сравнения программ по созданию оффлайн-копий сайтов.

Название программы Ссылка на сайт разработчика Бесплатные функции Просмотр в офлайн Скачивание
A1 Website Download http://www.microsystools.com/products/website-download/ ограничен +
BackStreet Browser http://www.spadixbd.com/backstreet/index.htm ограничены +
Cyotek WebCopy http://www.cyotek.com/cyotek-webcopy все + +
Darcy Ripper http://darcyripper.com/ все +
GetLeft не существует все частично
GNU Wget http://www.gnu.org/software/wget/ все - +
HTTrack http://www.httrack.com/ все + +
Local Website Archive http://www.aignes.com/lwa.htm ограничены - частично
Offline Downloader http://www.offlinedownloader.com/ 30-дневный испытательный срок + +
ограничены + +
QuadSucker/Web http://www.quadsucker.com/quadweb/ все + +
SurfOffline http://www.surfoffline.com/ 30-дневный испытательный срок + +
http://www.tenmax.com/teleport/pro/home.htm ограничены + +
http://visualwebripper.com/ 15-дневный испытательный срок - +
http://www.newprosoft.com/web-content-extractor.htm ограничены извлекает нужные данные +
Web2Disk http://www.web2disk.com/Default.aspx ограничены +
WebTransporter http://www.realsofts.com/ru мало +
http://www.spidersoft.com/webzip/ ограничены + +

Продолжение таблицы сравнения программ по созданию оффлайн-копий сайтов.

Название программы Поддерживаемые технологии Настраиваемая фильтрация Операционная система Версия Год выпуска Стоимость
A1 Website Download + Windows, Mac OS X от 39 уе
BackStreet Browser Windows 3.2 2011 19 уе
Cyotek WebCopy очень много визуальных настроек и режимов + Windows 1.1.1.4 2016 бесплатен
Darcy Ripper кроссплатформенный бесплатен
GetLeft - Windows (with Tcl/Tk), Linux, Mac OSX 2.5 бесплатен
GNU Wget Linux бесплатен
HTTrack кроссплатформенный бесплатен
Local Website Archive - Windows 29,95 евро
Offline Downloader Windows 4.2 29,95 уе
все + Windows от 60 уе
QuadSucker/Web Windows 3.5 2007 бесплатен
SurfOffline CSS, Flash, HTTPS, JS + Windows 29,95 уе
HTML5, CSS3, and DHTML + Windows 1.72 2015 49,95 уе
AJAX + Windows 3.0.16 2016 349уе
+ Windows 8.3 2016 49 уе
Web2Disk Windows 39,95 уе
WebTransporter http + Windows недоступна
Windows 7.1.2.1052 2008 39,95 уе

Скачать сайт целиком. Как это сделать и зачем это нужно?

Зачастую для сохранения важной информации с сайта используется сочетание клавиш Ctrl + S , работающее в любом браузере .

В некоторых случаях может возникнуть необходимость в скачивании большего объема информации и сохранении десятков, а, может, и сотен страниц вручную, а это может занять довольно много времени и сил.

Для решения таких задач существуют специальные и программные продукты .

К преимуществам on —line ресурсов для скачивания можно отнести кроссплатформенность и отсутствие необходимости в установке программного обеспечения на компьютер.

Под кроссплатформенностью следует понимать возможность работы независимо от операционной системы , установленной на ПК.

Таким образом, скачивание сайтов с помощью on —line ресурсов более универсальное, нежели с помощью специальных программ.

Но недостатком такого способа является скудный выбор сервисов, а также отсутствие продвинутых настроек, в отличие от аналогичного программного обеспечения.

Обзор on —line сервисов для скачивания сайтов

Недостатки:

— платная;
— нет поддержки русского языка;
— программа работает только в среде MS Windows;
— архаичный интерфейс программы.

Offline Explorer Pro .

Программа от компании Metaproducts , для работы в среде MS Windows , за которую разработчики просят довольно немаленькие деньги.

В наше время, когда интернет доступен практически в любой момент, иногда возникает необходимость скачать сайт целиком. Зачем это нужно? Причины могут быть разные: и желание сохранить важную информацию на будущее, и необходимость получить доступ к нужным данным при отсутствии доступа в сеть, и возможность ознакомиться с тем, как сверстаны страницы. Могут быть и другие резоны. Важно знать, как выполнить эту задачу, и далее мы покажем несколько способов как сделать копию сайта для последующего его использования в оффлайн режиме.

Самый простой способ о котором все знают, даже если ни разу не пользовались. Эта возможность есть в любом браузере. Достаточно лишь нажать комбинацию клавиш «Ctrl»+«S», после чего в открывшемся окне отредактировать название сохраняемой страницы и указать папку, в которую ее следует поместить.

Казалось бы, куда проще. Вот только есть в этом способе один существенный недостаток. Мы скачали всего лишь одну страницу, а в интересующем нас сайте таких страниц может быть весьма большое количество.

Хорошо, если сайт маленький, или состоит всего из одной страницы, а если нет? Придется выполнять это действие для каждый из них. В общем, работа для усидчивых и целеустремленных, не знающих об одном из основных двигателей прогресса.

Способ 2. Использование онлайн-сервисов

Вот оно, самое простое решение. Сейчас много есть полезных онлайн-ресурсов для перекодирования файлов, редактирования аудиофайлов и т. п. Среди достоинств этого метода – кроссплатформенность, отсутствие необходимости захламлять свою операционную систему утилитами, которые, возможно, понадобятся лишь однажды.

Всего делов-то, зайти на такой ресурс, ввести в строку адрес интересующего сайта, нажать кнопку запуска процесса скачивания и подставить «емкость», в которую польется интересующая информация…

В теории так, но, к сожалению, подобных онлайн-ресурсов, позволяющих скачать сайт целиком, раз, два, три и… И, пожалуй, все, если говорить о бесплатной возможности сохранить копию сайта на компьютер. А за все остальное придется платить, или мириться с урезанным функционалом.

Но давайте рассмотрим примеры поближе.

Едва ли не единственный бесплатный и русскоязычный ресурс. Интерфейс предельно прост. В строке вводим адрес интересующего сайта, вводим капчу, нажимаем кнопку «Скачать» и ждем…

Процесс небыстрый, к тому же с первого раза может и не получиться. Если все удачно, то на выходе получим архив с сайтом.

Условно-бесплатный ресурс, позволяющий один раз воспользоваться его услугами бесплатно, после чего за скачивание сайтов придется платить.

Работает webparse.ru быстрее предыдущего ресурса, но делает это не бесплатно. В итоге получаем архив со скачанным сайтом. В настройках нет настройки глубины парсинга структуры скачиваемого сайта, поэтому убедиться, что удалось скачать сайт полностью, придется только самостоятельной сверкой оригинала и его копии.

Другие ресурсы

Среди других способов можно отметить ресурс , создающий PDF-файл со страницами скачиваемого сайта. Естественно, часть функционала сайта будет утеряна. Если это допустимо, то воспользоваться данным ресурсом можно.

Еще один ресурс, позволяющий скачать сайт – . К сожалению, пользоваться им можно только на платной основе.

Способ 3. Специализированные программы

Использование утилит для скачивания файлов — пожалуй, наиболее функциональный вариант, позволяющий добиться своей цели. Придется смириться с тем, что в системе появятся дополнительные программы, одна часть из которых бесплатна, а другая – более меркантильна и требует за выполнение тех же функций поощрение. Причем, бесплатные программы (иногда их еще называют оффлайн-браузерами) по возможностям практически не уступают платным аналогам.

В отличие от онлайн-сервисов, подобная программа работает гораздо быстрее, хотя придется искать подходящую под вашу ОС версию этого ПО. Некоторые программы можно найти не только для ОС Windows, но и для других.

Рассмотрим несколько примеров таких программ.

WinHTTrack WebSite Copier

Одна из самых популярных программ, предназначенных для создания оффлайн-копий сайтов. Справедливости ради надо сказать, что бесплатных аналогов практически нет.

Для того, чтобы пользоваться программой, надо скачать с сайта разработчика подходящую версию, проинсталлировать ее в свою систему и запустить. В первом окне будет предложено выбрать язык интерфейса. Среди всех вариантов есть и русский.

Интерфейс программы прост и запутаться в нем не получится. В первом окне надо указать имя и категорию проекта, а также указать место, где будет храниться скачиваемый сайт.

Теперь надо ввести адрес сайта, который надо скачать. Программа имеет большое количество настроек, где задается глубина просмотра сайта, определяются фильтры, указывающие что скачивать надо, а что – нет. Например, можно запретить скачку изображений, исполняемых файлов и т. п. Настроек много, и если есть необходимость, можно внимательно с ними ознакомиться.

В следующем окне надо нажать кнопку «Готово», после чего остается только дождаться окончания процесса. По окончании в указанной папке будут находиться файлы скачанного сайта. Для того, чтобы открыть его для просмотра необходимо выбрать файл index.htm.

Теперь папку с проектом можно скачивать на любой носитель и просматривать там, где это удобно.

Англоязычная программа с солидно выглядящим интерфейсом и большими возможностями по настройке процедуры скачивания сайта. Достаточно только вести адрес интересующего ресурса, указать папку, в которую сохранить скачанные данные и нажать кнопку «Copy Website».

Все, теперь остается дождаться окончания работы программы и в указанном места найти файл «index.htm», который и будет начальной страницей ресурса, который подготовили для оффлайн-просмотра.

Из недостатков можно отметить только отсутствие русификации, а также то, что Cyotek WebCopy работает только на ОС Windows, начиная с версии Vista. Версий под другие ОС нет.

Teleport Pro

Одна из старейших программ, к сожалению, платная. Имеется тестовый период. После установки и запуска появится главное окно, где необходимо указать режим скачивания сайта. Это может быть полная копия, можно сохранить только определенный тип файлов и т. п.

После этого надо создать новый проект, который будет ассоциирован со скачиваемым сайтом и ввести адрес интересующего интернет-ресурса. По умолчанию глубина переходов по страницам имеет значение 3. Этот параметр можно изменить. После этого можно нажать кнопку «Далее».

Создастся новый проект, необходимо указать папку, в которую сохранять данные. Для запуска процедуры скачивания надо нажать кнопку «Start» (синий треугольник) в панели управления. Начнется процесс сохранения сайта на ваш диск.

Offline Explorer

Еще одна платная, но весьма функциональная программа. Есть русифицированная версия. Триальная версия работает 30 дней, при этом есть ограничение на количество скачиваемых файлов – 2000. Программа существует разновидностях Standard, Pro и Enterprise. Самая дешевая версия стоит 59.95$, а самая дорогая – 599.95$.

Как и в других программах, работа начинается с того, что необходимо создать новый проект и указать адрес интересующего сайта. Доступно большое количеств настроек, при помощи которых можно отфильтровать ненужную информацию, задать глубину просмотра сайта и т. п.

После того как проект создан, отредактированы параметры загрузки, можно нажать кнопку «Загрузить» и дожидаться результата.

Возможностей у программы действительно много. Есть многопоточная загрузка, собственный веб-сервер для просмотра того, что было скачано, масса настроек. Если оценивать все возможности, то программа действительно ценная (уж простите за тавтологию), вот только стоимость ее неприлично высока.

Webcopier

Платная программа с 15-дневным триальным периодом. Существует в версиях для Windows и Mac OS. Алгоритм работы не отличается оригинальностью, что, впрочем, является плюсом. Для скачивания сайта надо создать новый проект, ввести URL.

Мастер попросит ответить на несколько вопросов, например, ввести логин и пароль пользователя на скачиваемом сайте, указать папку назначения, позволит изменить некоторые параметры, например, отключить возможность скачивания изображений. После окончания создания проекта для начала процедуры создания локальной копии сайта надо нажать кнопку «Start download». Будет отображаться процесс при помощи графика, показывающего скорость работы, а также время работы.

Заключение

Возможностей создать локальную коллекцию нужных сайтов для их просмотра достаточно. Есть и онлайн-ресурсы, есть и специализированное ПО. Каждый из вариантов имеет свои достоинства и недостатки. К сожалению, большинство программ платные, и готовы ли вы раскошелиться за более широкий функционал или достаточно того, что умеют бесплатные утилиты – решать каждому самостоятельно.

Прежде чем отдавать предпочтение тому или иному решению, следует попробовать их все, благо даже платные программы имеют тестовый период, пусть и с некоторыми ограничениями. Это позволит оценить возможности этого ПО, понять, необходим ли вам весь этот функционал, насколько корректно производится скачивание сайтов.

Обновление локальной копии
Для того, чтобы продолжить скачивание большого блога или синхронизировать локальную версию с тем, что есть в Интернете, httrack может обновить скачанный проект. Насколько я понял, для этого нужно добавить к вышеупомянутому заклинанию ключик --update

То есть для обновления уже скачанного блога с blogspot из директории, где находится директория hts-cache (в ней лежит файл hts-cache/doit.log который содержит все нужные параметры) и пишем:

httrack "http://ВАШБЛОГТУТ .blogspot.com/" "+*.css" "+*.js" "+*.jpg" "+*.jpeg" "+*.tiff" "+*.png" "+*.gif" "+*.giff" "+*.swf" "+.ico" -v --disable-security-limits -s0 "-*666*" "-*BlogBacklinkURL*" --update
И httrack пытается обновить проект. И обновляет его, выкачивая оставшиеся файлы. Кстати, чтобы пропускать файлы со слишком тормозных серверов, можно ещё тайм-аут для httrack поставить поменьше, добавив ключик --timeout 20 после чего тайм-аут будет 20 секунд.

Отмечу так же, что в каталоге hts-cache лежат два больших архива в формате ZIP - так вот, удалить можно только тот из них, который называется old.zip, а new.zip лучше не трогать. Дело в том, что эти файлы содержат информацию, необходимую httrack для обновления скачанного сайта, и если эти файлы удалить, то вы не сможете просто обновить копию (придётся выкачивать всё заново).

Ссылки в тему
Над этой темой бились лучшие умы блоговедения и блоготехники, достижения коих увековечены к примеру в заметке Дмитрия Конищева Создание зеркала сайта и в посте Андрея Афанасенко Архив блога/blogarchive . За что оным умам (а так же всем, кто принимал участие в обсуждениях) низкий поклон и огромная благодарность.
Так же благодарность тов. vnaum за то, что разыскал в дебрях документации к Блоггеру ссылку на возможность получить все посты Blogger с помощью скриптов на Python.

15 комментариев: | | RSS-лента дискуссии. |
Programmaster комментирует... 21 дек. 2009 г., 16:53:00

Любопытненько. Передо мной задача зеркалирования блога не вставала, но задумка интересная. Попробую-ка свой скопировать ради интереса…

Olly Cat комментирует... 21 дек. 2009 г., 20:31:00

Спасибо, очень интересно и познавательно. Надо подумать как теперь это дело использовать для переноса с одного блога на другой (давно хотел перенести свой старый ЖЖ в блогспот, да руки все не доходили).

Сергей комментирует... 21 дек. 2009 г., 22:41:00

Хотел заметить, что получить архив своего блога проще всего из панели управления — Настройки/Основные сведения/Инструменты блога/Экспорт блога. И получаем XML со всем-всем-всем. Хороший XML. Только данные (но в том числе и все настройки-стили), никакого генерируемого HTML.

У меня была мысль, что можно написать скрипт, формирующий по этому XML-архиву документ TeX, вестаемый автоматически для чтения оффлайн — под печать или e-book. Вроде ljbook или blurb, но лучше:-) Дарю идею.

vnaum комментирует... 23 дек. 2009 г., 00:23:00

Ну и мои две копейки:
http://code.google.com/apis/blogger/docs/1.0/developers_guide_python.html#RetrievingWithoutQuery

(python-gdata в дебиане есть)

virens комментирует... 23 дек. 2009 г., 01:59:00

@ Programmaster пишет...
Любопытненько. Передо мной задача зеркалирования блога не вставала, но задумка интересная.
Скоро встанет такая задача и перед тобой, когда постов будет за сотню. Не всегда есть подключение к интернету - вон в МИФИ вторую неделю интернета нету. Хотя он уж и не МИФИ, я нияу... но не суть.

@ Olly Cat пишет...
Надо подумать как теперь это дело использовать для переноса с одного блога на другой (давно хотел перенести свой старый ЖЖ в блогспот, да руки все не доходили).
Таким способом, думаю, вряд ли. Блогспот загружает один здоровенный XML-файл, но я без понятия, как его сформировать.

@ Сергей пишет...
Хотел заметить, что получить архив своего блога проще всего из панели управления — Настройки/Основные сведения/Инструменты блога/Экспорт блога. И получаем XML со всем-всем-всем.
О, а вот и оберфельдфебель Эвиденц в тред нагрянул! :-)) Извини, Сергей, не смог удержаться;-))

Хороший XML. Только данные (но в том числе и все настройки-стили), никакого генерируемого HTML.
Хорошая девочка Лида, а чем же она хороша?! :-)
Серьёзно, просмотреть его не получается. А раздавать этот файл всем - это у меня и так статьи тырят, а там просто двойники пойдут косяками.

У меня была мысль, что можно написать скрипт, формирующий по этому XML-архиву документ TeX, вестаемый автоматически для чтения оффлайн — под печать или e-book.
Ох ты ёлки-лампочки... Вот до чего хаскель-то доводит, мамочки, поди ж ты... :-)

@vnaum пишет...
Ну и мои две копейки
Это целый рубль, vnaum! Спасибо!

P.S. Прошу простить за немного ироничные ответы, т.к. писал весь день отчёты. После этого сильно пробивает на посмеяться:-)

Есть множество программ для скачивания сайтов, чтобы можно было просматривать его локально на своем компьютере без выхода в интернет. Веб-разработчикам интересно скачивания целого файла, чтобы посмотреть как реализована верстка сайта, как оптимизированы изображения и многое другое.

  1. Offline Explorer ($59.95) и Offline Explorer Pro ($149.95)
  2. Teleport Pro ($49.95)
  3. Webcopier ($30)
  4. И даже такие архаичные как Wget (бесплатна), но необходимо уметь работы с консолью операционной системы.
  5. Есть даже бесплатный русский сервис Site2Zip.com (я ставил на закачку, но он ничего не скачал).
  6. HTTrack Website Copier (бесплатна)

А теперь подробнее о последней программе.

HTTrack Website Copier

Выбор небольшой, поэтому наиболее подходящей программой для скачивания сайта будет HTTrack Website Copier. К тому она вполне неплохо справляется с данной задачей.

Есть различные версии программы, которые совместимы с:

  • 32-разрядной Windows 2000/XP/Vista/Seven/8
  • 64-разрядной Windows Vista/7/8

В настройках можно выбрать русский язык.

Скачать нужную версию мы сможете прямо с официального сайта

Как скачивать сайт целиком

1. Установить программу на свой компьютер.

2. Выберите в настройках русский язык и перезагрузите программу, чтобы интерфейс обновился.

3. Создайте новый проект

  • Укажите название проекта.
  • В какую папку на ваш компьютер сохранить сайт.
  • И нажмите кнопку «Далее».

4. В поле «Веб адреса: (URL)» укажите адрес сайта, который надо скопировать и нажмите на кнопку «Задать параметры».



5. В появившемся окне выставляем параметры скачивания.

Если у вас нет прокси оставляем все как есть и переходим к следующей вкладке «Фильтры».

Внимание: если возникли проблемы со скачиванием - попробуйте снять флажок с опции «Использовать прокси для ftp-закачки».



6. Здесь мы избавляемся от мусора и говорим какие файлы нам скачивать не нужно.

Ставим флажки напротив архивов и видео-файлов. Все расширения добавятся автоматически.



7. Переходим на вкладку «Ограничения».

Я задал максимальную глубину загрузки сайта до трех уровне вложенности. Вы можете указывать другое значение, в зависимости от ваших потребностей.



8. Идем на вкладку «Линки».

Если вы зайдете в нее, то увидите такую структуру.

Как просмотреть то, что мы скачали

Скачанный сайт можно запустить любым способом, например:

  • зайти в папку, в которую сохраняли проект, кликнув по файлу index.html . После этого откроется страница со списком всех проектов. Нужно выбрать нужный.
  • или войти в папку с названием проекта, кликнув по файлу index.html , чтобы открылся сайт сразу.

Всё. Поздравляю, теперь на вашем компьютере точно такая копия сайта как и в интернете. Пользуйтесь на здоровье!

Напишите, пожалуйста, в комментариях, всё ли понятно написано? Скажите, какими программами вы пользуетесь, когда вам надо бесплатно скачать сайт на компьютер?