一. 如何突破防盗链：

> 一般的防盗链都是检测头部的 Referer 属性，也就是我们正在访问的调用图片的那个页面的地址。
> 通过这个地址来检测你是否是从此页面（即允许调用图片的网站）来访问图片的，然后进行判断。
> 看看是输出防盗链防御图片，O(∩_∩)O，还是输出你要浏览的漫画文件内容，嘎嘎，╮(╯▽╰)╭。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

$url = 'http://xx.xxxxxcomic.com/xxx/xxxx/xxxxx/act_001/001Xsss.JPG';
//这个变量是要下载的图片地址
$referer = 'http://www.xxxxxcomic.com/manhua/xxxx/xxxxxx/?a=1';
//这个变量是我们需要伪造的头部 Referer 属性内容，也就是显示此图片的页面地址
function downloader($url,$referer,$name) {
	$curl = curl_init($url);
	$useragent="Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.4) Gecko/20100413 Firefox/3.6.4";
	curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
	curl_setopt ($curl, CURLOPT_USERAGENT, $useragent);
	curl_setopt($curl, CURLOPT_REFERER, $referer);
	$data = curl_exec($curl);
	curl_close($curl);
	//以上构造一个 Curl 函数来下载图片的内容
	$handle = fopen($name,'w+');
	fwrite($handle,$data);
	fclose($handle);
	//再用 fopen fwrite fclose 来将内容保存为文件
}
downloader($url,$referer,'1.jpg');
//'1.jpg' 则是图片的文件名，这样调用就可以成功下载了喔

> 咱点到即止哈，这种事情不能讲得太细的，毕竟影响到了这些站点的生意了，这样很不好呢。
> 所以我们以研究 PHP 代码技术的角度简单注释一下，希望对大家有用喔，O(∩_∩)O 嘻嘻。

1
2
3
4

var ServerList= new Array(12); 
ServerList[0]="http://21.xxxxxcomic.com/xxx1/";
ServerList[1]="http://21.xxxxxcomic.com/xxx2/";
ServerList[2]="http://32.xxxxxcomic.com/xxx3/";

> 如果图片是延迟载入的，即页面载入完成才载入图片，那在某 JS 文件可能找到上面内容喔。
> 这是基本地址，随机读取的，一般是漫画文件 URL 的前半部分，嘎嘎，可能随时更换的。

1
2
3
4
5
6

<script language="javascript"> 
var ComicListID=41870;
var ComicID=5165;
var PicListUrl = "/xxx001.JPG|/xxx002.JPG";
//在漫画浏览页面代码中还可能找到这样的地址，表示此章节漫画文件名称，接在基本地址后边即可
</script>

> 嘻嘻，那么祝大家玩得开心哈，小邪闪人咯。嘎嘎嘎嘎。╮(╯-╰)╭╮(╯o╰)╭╮(╯O╰)╭╮(╯▽╰)╭。

> 程序的运行过程是这个样子的，先读取相册页面，然后用正则式找到文件名与地址。
> 最后用 set_time_limit(0) 设置防止超时，并用 File_get_contents 函数把图片下载下来。

一. PBK Downloader 程序简介：

> 在变量 album_url 里填上相册地址，然后在变量 album_pagen 里填上页数即可。
> 程序会自动生成一个 Img 文件夹，并将图片下载到里面，就完成咯，O(∩_∩)O 嘻嘻！

1
2

$album_url = 'http://photobucket.com/images/avatar%20movie/'; //相册
$album_pagen = 1; //页数

二. 抓取实例：

> 相册地址 - http://photobucket.com/images/avatar%20movie/

> 呵呵，小邪在页数那里只填了1页，然后就抓取下来咯。小邪文件名前面加了序号来着。
> 因为有些图片名字相同，但是内容却是不同的，所以这样子防止出现漏掉文件。

三. 源代码：

> 把下面两个变量填一下就好，小邪已经把超时设置为无限，但是如果出现意外状况。
> 直接刷新接着来就好，程序如果发现已经下载了就不会下第二遍咯，O(∩_∩)O。

> http://code.google.com/p/evlosbox/downloads/detail?name=pbk_getpic.txt

> 那么，在这里小邪就讲解一下如何使用 PHP 的 CURL 函数和正则式抓取 Flickr 的图片。
> 首先用 Curl 带 Cookies 地抓页面代码，然后用正则分离出图片Code，最后得到大尺寸地址。

> Rencently, Evlos prepare to change the image urls in my article to the image urls in Flickr.
> So, I think I should use php program to catch urls in Flickr for saving time.
> Um .. Just for saving time, curl isn't a good tools for lots of people.
> Because it can get the whole data in website and make a mirror site for gaining money.
> And I suffered this last month, it's a tragedy.

> First of all, use curl get the html data. We should post some cookies in same time.
> Then use regex to get the code for images. At last, we use image code to get image url.

一. 分析一下地址 Analyse url：

1. 用户地址 User url -

> http://www.flickr.com/photos/46051661@N04
> 比如小邪的用户地址就是这个样子的，很规则，处理有规则的东西是最方便的鸟。

> For example, this is my album url. It's very regular and can easy to deal with it.

2. 相片集地址 Album url -

> http://www.flickr.com/photos/46051661@N04/sets/72157623167782492
> 恩恩，后面是一个 Sets 表示相片集，然后是相片集本身的 Code。
> 小邪喜欢把这些唯一性的字符称为 Code，呵呵，这样比较好说一点儿。

> Um .. It contains a sets code rearward and a user code in der mitte.
> Evlos like called the unique character as code. Haha, it's easily explained.

3. 单张相片地址 Single image url -

> http://www.flickr.com/photos/46051661@N04/4259923860/
> http://www.flickr.com/photos/46051661@N04/4259923860/in/set-72157623167782492
> 嘎嘎，有两种，其实都是一模一样的页面来着，所以咱挑上面的短的。

> :), Flickr offer two kinds of url, but it will heading us to a same page.
> So, certainly, we choose the shorter url.

4. 单张相片大尺寸地址 Single image url for big size -

> http://www.flickr.com/photos/46051661@N04/4259923860/sizes/o/
> 一般来说小邪的 600px 宽度，高度在 600px 以下的，都用地址 O 来查看全图的。
> http://www.flickr.com/photos/46051661@N04/4259923860/sizes/l/
> 因为 Flickr 不提供大图全图，而 L 是图片尺寸过大后被裁减的地址，所以只好用 L 咯。
> 嘎嘎，还有四个尺寸，依次减小，这样子 - M S T SQ，OK可以开工了。

> In general, my image is limit in 600px and i can get the full size by "o".
> Bacause Flickr limit the size of image by 1024px for free users.
> And "L" is a code for the image exceed 1024px and offer 1024px image.
> Haha, and the remaining four size. Like M S T SQ, so let's beginning.

二. 开始抓取 Begin to catch：

1. 抓取相片 Code 代码 Catch the code of image：

> $sa[0] 里面储存的是相片的 Code，$sa[1] 储存的是相片的标题。
> 而 $sa[2][0] 储存的是相片个数，因为这里是二维数组，小邪不想要 Foreach。
> 虽然双层 Foreach 可以遍历二维数组，不过这里只需要作为两个一维数组就好。

> Put the codes of image in $sa[0]. And put the title of image in $sa[1].
> And put the numbers of images into $sa[2][0], bacause it's 2d array.
> And Evlos don't want to use foreach. Though i can use double-layer foreach.
> I just need to use two 1d array, it's enough.

1
2
3
4
5
6
7
8
9

function app_get_set_info($data) {
	$regex = "%\/photos\/46051661@N04\/(\d+)\/in\/set\-\d+\/\" 
title=\"([a-z0-9A-Z-_]*)\" class%i";
	preg_match_all($regex,$data,$save);
	$sa[0] = $save[1];
	$sa[1] = $save[2];
	$sa[2][0] = array_count($save[1]);
	return $sa;
}

> $save[1] 是储存第一个括号中匹配内容的数组，而 $save[2] 则是第二个括号的。
> 那么还有一个，是 $save[0]，这个当然就是整串正则式匹配的字符咯，O(∩_∩)O。

> We put the content in firstly bracket into $save[1].
> And the same meaning to content in secendly bracket.
> So, the $save[0] is use to putting the whole content that get by regex.

2. 抓取图片地址：

> 恩，这里整个页面也就一张 JPG 或者 PNG 的大图了（页面元素是 GIF）。
> 所以咱们这样子抓下来。╮(╯▽╰)╭，可怜的 Flickr，被偶剥得半裸了。
> 嘎嘎，差不多就 619 那根全裸男一样了（619 童鞋一定要小邪给他开个裸奔帝国传送门）。

> Um .. The whole image page is just include one jpg or one png url.
> So we can easily get it by regex like the following content.

1
2
3
4
5
6
7
8
9
10

function app_get_ourl($data) {
	$pagelist_regex = "%<img src=\"(.+.jpg)\"%i";
	preg_match_all($pagelist_regex,$data,$save);
	//print_r($save);
	if (!isset($save[1][0])) {
		$pagelist_regex = "%<img src=\"(.+.png)\"%i";
		preg_match_all($pagelist_regex,$data,$save);
	}
	return $save[1];
}

3. 带 Cookies 的 Curl：

> 因为登陆后在相片集页面可以看到全部照片，所以咱们用 Curl 把 Cookies 传过去。
> 嘎嘎，老样子，大家都喜欢模拟 FF 的访问头部。然后是一些必要的参数。

> Because if we login, we can see the all images in set page.
> So we post the cookies to Flickr, and get the html code.
> Haha .. Same as ever, we like simulate the header of firefox.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

function app_get_html($url,$cookie='') {
	$curl = curl_init($url);
	$useragent="Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; 
rv:1.8.1.1) Gecko/20061204 Firefox/2.0.0.1";
	curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
	curl_setopt ($curl, CURLOPT_USERAGENT, $useragent);
	if ($cookie<>'') {
		curl_setopt ($curl, CURLOPT_COOKIE, $cookie);
	}
	$data = curl_exec($curl);
	curl_close($curl);
	return $data;
}
// 用法如下，Cookies 信息麻烦自行找到，小邪太懒了╮(╯▽╰)╭。
// The example method like the following content. Please get the cookies by yourself.
app_get_html('http://www.flickr.com/photos/46051661@N04/sets/72157623167782492',
$cookie='cookie_accid=16212532;cookie_epass=816e23c7b24aa6q9f13713e7503de07f;')

4. 程序运行过程 The process of running：

> 首先麻烦自行搞到 Flickr 的 Cookies，然后把相片集页面包含的相片 Code 全部抓取来。
> 保存到数据库之类的地方（因为咱们可能会经常超时），一条一条读取数据库中保存的 Code。

> 然后获取图片页面中的 Url，保存到数据库，如果 Url 已经储存就不去抓取了。
> 因为 100% 会出现超时，所以得这样，然后到时候刷新下接着干就好了，嘿嘿。

> 请原谅小邪没有把完整源代码贴出来，因为怕引起 Flickr 官方的注意，虽然可能性不会很大。
> 但是还是小心一点儿为好。而且全部的主要代码已经贴出来了，储存数据库相信你能搞定的。
> 呵呵，时间又到两点多钟了，小邪很想睡觉鸟 Zzzzzzzzzz 晚安喔，小邪这就去把床给上了。

> First of all, get the cookies for yourself. Then get the codes for images.
> Save them into database or something like that. And read data one by one.

> Get the url for single image file and save to db, if it's exist, just skip up.
> Beacuse we will reach the time excceed. So just need to refresh the page.

三. 这难道是水军路过？！：

> 截图留念，╮(╯▽╰)╭，人家都是拍照留念，但小邪没事最喜欢截图留念了。

> 好多服务器为了防采集都禁止 File_get_contents，所以介绍一下俩函数互相替代的方法。
> 话说，昨天给 619 的模板导航栏上加上了分类目录的显示，但我觉得那个模板的函数有点奇怪。

P.s. 呵呵，使用方法如图，作为图片显示即可，有兴趣的童鞋可以调用过去玩玩 O(∩_∩)O。

1. File_get_contents 函数：

> 使用如下的代码可以将变量 $GontenPRURL 里的路径指向的文件读入字符串 $filecontent 中。
> 只要在 Url 中传递参数即可到 Google 获取到 PR 的数值，然后转换为相对的图片文件名称。

1

$filecontent = file_get_contents($prurl);

> 我简单的使用下面的函数代码过滤了一下 Url 地址。
> 因为没法过滤引号，所以后面再使用 Preg_match 的正则式过滤文件头。

1
2

$evlos_re = array("\"","'","!","@","#","$","%","^","&","*","(",")","+","=");
$website = str_replace($evlos_re,"",$website);

> 最后再输出一个文件头，再把作为字符串的图片接着输出即可。

1
2

header("Content-Type: image/jpeg; charset=UTF-8");
echo $content;

2. Curl 函数：

> 注意！！CURLOPT_URL 参数是不支持相对路径的，网上没看到有人提到，害我差点没折腾挂掉。

1
2
3
4
5
6
7

$ch1 = curl_init();
$timeout1 = 15;
curl_setopt ($ch1, CURLOPT_URL, $prurl);
curl_setopt ($ch1, CURLOPT_RETURNTRANSFER, 1);
curl_setopt ($ch1, CURLOPT_CONNECTTIMEOUT, $timeout1);
$filecontent = curl_exec($ch1);
curl_close($ch1);

> 这里就得用那么长的代码来代替上面 File_get_contents 函数的那一行代码了。

1
2
3

$fixurl = 'http://'.$_SERVER['HTTP_HOST'].$_SERVER['PHP_SELF'];
$fixurl = str_replace(basename($_SERVER['PHP_SELF']),"",$fixurl);
$pic = $fixurl.$pic;

> $pic 是我的 PR 图片文件，这里通过上面代码把相对路径转换为 Url 路径。
> 最后也差不多，输出一个文件头，再把作为字符串的图片接着输出即可。

1
2
3
4
5
6
7

$ch2 = curl_init();
$timeout2 = 15;
curl_setopt ($ch2, CURLOPT_URL, $pic);
curl_setopt ($ch2, CURLOPT_RETURNTRANSFER, 1);
curl_setopt ($ch2, CURLOPT_CONNECTTIMEOUT, $timeout2);
$content = curl_exec($ch2);
curl_close($ch2);

3. 同行输出日志分类与博客页面列表：

> 话说原先 Sandbox 只输出博客页面列表的时候 Header.php 只调用了一个函数：

1

<?php sandbox_globalnav() ?>

> 然后在主题函数 Functions.php 里面加了一大段这个代码：

1
2
3
4
5
6
7

function sandbox_globalnav() {
	if ( $menu = str_replace( array( "\r", "\n", "\t" ), '', 
wp_list_pages('title_li=&sort_column=menu_order&echo=0') ) )
		$menu = '<ul>' . $menu . '</ul>';
	$menu = '<div id="menu">' . $menu . "</div>\n";
	echo apply_filters( 'globalnav_menu', $menu ); 
}

> 我觉得其实没啥必要的样子，因为下面使用 WP 自带的函数输出一个 Li 列表也是可以达到相同效果的。
> 博客页面是 Wp_list_pages，文章分类是 Wp_list_categories。

1
2
3
4

<div id="menu">
<?php wp_list_categories('title_li=0&orderby=name&show_count=0');
wp_list_pages('title_li=0&sort_column=menu_order'); ?>
</div>

> 然后在 CSS 文件里面把 Li 变成行内元素即可，话说 Li 真是一个神奇的东西。

1
2
3
4

#access li {
display:inline;
padding-left:8px;
}

4. 调用说明页面传送门：

> http://tool.evlos.org/primg/

5. 欢迎来 Follow 我的 Twitter @AngelSolo 。