Как я со скуки искал картинки.
Наткнулся на какой-то конкурс. Нужно было на сайте найти 8 картинок, даже не знаю какой там был приз, просто со скуки я начал их искать. Сайт называется upladder.ru. Картинки появляются в произвольном месте на странице, они не большие и частично прозрачные. Я искал не так долго, потом я заметил, что если тыкнуть на картинку, то уходишь на другой сайт с условиями конкурса. И появилась идея слить сайт целиком. Ну тут все просто, wget и сайт на харде. Сразу нашлось 4 картинки, простым грепом с этой внешней ссылкой. Но вгет не пускает на закрытую часть сайта, должен произвестись логин и остаться куки. Я вспомнил про курл, хотя вроде и вгет умеет куки готовить, но курл более умный чтоль. Чучуть поковырявшись я слил весь сайт целиком. Теперь о том, как это сделать.
Нужно открыть страницу, лучше в хроме, мне нравится как он показывает исходник страницы. Точнее даже не исходник нужен, а inspect element. Находим где у нас логин.
Для курла нужна информация, находящаяся в поле name, signin[username], точно так же находим поле с паролем signin[password]. Теперь пихаем все это в курл.
curl --cookie cjar --cookie-jar cjar --data 'signin[username]=Тут_логин_от_сайта' --data 'signin[password]=а_тут_пароль' --location --output result.txt http://upladder.ru/signin_submit
Все, куки сохранены, теперь нужно скачать сайт. Тут курл несколько проигрывает вгету, скачать сайт целиком в одну команду он не умеет, но умные люди написали скрипт(curlmirror.pl), который скачает это все на ура.
curlmirror.pl -a "--cookie cjar" http://upladder.ru
Параметр -a передает параметры курлу, в нем нужно указать, где брать печеньку.
PS: 1 картинку я так и не нашел. Не то чтобы я ее и искал после этих присестов с курлом. Уже стало не интересно )