当前位置:首页 > 技术文档 > 正文内容

PHP采集静态页面并把页面css,img,js保存的方法

admin8年前 (2017-04-09)技术文档1688

本文实例讲述了PHP采集静态页面并把页面css,img,js保存的方法。分享给大家供大家参考。具体分析如下:

这是一个可以获取网页的html代码以及css,js,font和img资源的小工具,主要用来快速获取模板,如果你来不及设计UI或者看到不错的模板,则可以使用这个工具来抓取网页和提取资源文件,提取的内容会按相对路径来保存资源,因此你不必担心资源文件的错误url导入.

首页 index.php,代码如下:

<!DOCTYPE html> 
<html> 
<head> 
<meta name="author" content="flute" /> 
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> 
<title>网页抓取器</title> 
<link rel="stylesheet" href="main.css" media="all" /> 
<script type="text/javascript" src="jquery.js"></script> 
<script type="text/javascript" src="main.js"></script> 
</head> 
<body> 
<h1>Web Grabber</h1> 
<hr /> 
<div class="box"> 
  <h2>Url</h2> 
  <div class="form"> 
    <input type="text" id="project" value="projectname" /> 
    <input type="text" id="url" value="http://" size="60" /> 
    <button class="submit" type="button">Get</button><span id="tip"></span> 
  </div>
</div> 
<div class="box"> 
  <span class="all" id="saveall">Save All</span> 
  <h2>List</h2> 
  <ul id="list"> 
  </ul> 
</div> 
</body> 
</html>


抓取页面代码 grab.php,代码如下:


<?PHP 
 /* 
 * flute 
 * 2014/03/31 
 */ 
 
 if(isset($_POST['url'])) { 
  if(isset($_POST['project']) && !is_dir($_POST['project'])) mkdir($_POST['project'], 0777); 
  echo json_encode(grab($_POST['url'])); 
 } 
 
 function grab($url) { 
  //$url = 'http://ldixing-wordpress.stor.sinaapp.com/uploads/leaves/test.html'; 
  $data = array(); 
  $file = preg_replace('/^.*//', '', $url); 
 
  if(($content = file_get_contents($url)) !== false) { 
 
   if(isset($_POST['project'])) file_put_contents($_POST['project'].'/'.$file, $content); 
 
   $pattern = '/<link.*?href=('|")(.*?.css)1.*?>/i'; 
   if(preg_match_all($pattern, $content, $matches)) { 
    $data['css'] = $matches[2]; 
   } 
 
   $pattern = '/<script.*?src=('|")(.*?.js)1.*?>/i'; 
   if(preg_match_all($pattern, $content, $matches)) { 
    $data['js'] = $matches[2]; 
   } 
 
   $pattern = '/<img.*?src=('|")(.*?)1.*?>/i'; 
   if(preg_match_all($pattern, $content, $matches)) { 
    $data['img'] = $matches[2]; 
   } 
 
   $pattern = '/url(('|"|s)(.*?)1)/i'; 
   if(preg_match_all($pattern, $content, $matches)) { 
    $data['src'] = $matches[2]; 
   } 
  } 
 
  return $data; 
 }
 function vardump($obj) { 
  echo '<pre>'; 
  print_r($obj); 
  echo '</pre>'; 
 } 
?>

保存css,js,img等资源的页面 save.php,代码如下:


<?PHP 
 /* 
 *  flute 
 *  2014/03/31 
 */ 
 
 if(isset($_POST['url']) && isset($_POST['project']) && isset($_POST['domain'])) { 
  extract($_POST); 
  $url = preg_replace('/?.*$/', '', $url); 
  $file = $url; 
  $arr = explode('/', $file); 
  $length = sizeof($arr); 
  $filename = $arr[$length - 1]; 
  $root = $project; 
  $dir = $root; 
 
  if($domain == 'http') { 
   $dir = $root.'/http'; 
   if(!is_dir($dir)) mkdir($dir, 0777); 
  } else { 
   $file = $domain.'/'.$url; 
   for($i = 0; $i < $length -1; $i++) { 
    if(!emptyempty($arr[$i])) { 
     $dir .= '/'.$arr[$i]; 
     if(!is_dir($dir)) mkdir($dir, 0777); 
    }
   } 
  } 
  if(!file_exists($dir.'/'.$filename) || filesize($dir.'/'.$filename) == 0) { 
   $content = file_get_contents($file); 
   file_put_contents($dir.'/'.$filename, $content); 
  } 
 } 
?>

使用方法:


1. 打开index页,输入项目名和要抓取的网址,网址必须是文件名结尾,如index.html;

2. 点Get按钮,得到当前页面所有的css,js,img等资源列表;

3. 点击css链接会获取css文件中的背景资源图片,附加在列表后头;

4. 点击Save All即可保存列表中所有的文件,并按相对路径生成;

5. 如果网页上有http远程文件,将会直接保存在http文件夹下;

6. Get和Save有时会失败,没关系重试几次即可。

希望本文所述对大家的php程序设计有所帮助。


分享到:

扫描二维码推送至手机访问。

版权声明:本文由云河空间发布,如需转载请注明出处。

本文链接:https://yuyunhe.cn/index.php/post/234.html

分享给朋友:

“PHP采集静态页面并把页面css,img,js保存的方法” 的相关文章

php 判断手机访问

//手机来访 function is_mobile() {     $user_agent = $_SERVER['HTTP_USER_AGENT'];    &n...

php批量下载图片

假如现在我现在发现一个网站上的图片保存方式是1001 – 1999目录下都存放着从1开始(数量不等)的.jpg图片,现在我决定用php的方法将图片按照自己需要的样式直接下载到本地   假如图片开始地址为:http://image.xxx.com/img/1001/1...

用php gettext库来开发多语言系统

用php gettext库来开发多语言系统

通常人们写程序时都是将文字写死在程序里的, 比如:echo "Hello World!";  ,假如要改成它国语言,写国际化程序,就要逐个打开进行修改,程序较短时还行,若程序有上万甚至更多,改起来就不是那么容易了。近来随着i18n的逐渐标 准化,我也来讲一讲在PHP中如...

jQuery UI 使用入门

jQuery UI 使用入门

 最近项目中使用了一些插件来做页面,这里把jQuery UI的使用分享出来,希望 对新手有帮助。文章结尾附源码下载。1 jQuery UI        有时你仅仅是为了实现一个渐变的动画效果而不得不把javascrip 重新学习一遍然后书写大量代码。直到...

PHP利用Curl模拟登录并获取数据例子

PHP利用Curl模拟登录并获取数据例子

几乎所有的程序员来模仿用户登录或抓取数据都会使用到curl函数,下面我来给各位介绍利用curl函数实现登录并抓取数据,希望下面例子对各位有帮助。PHP的curl()在抓取网页的效率方面是比较高的,而且支持多线程,而file_get_contents()效率就要稍低些,当然,使用curl时需要开启下c...

wamp虚拟主机配置

1、首先打开apache的配置文件httpd.conf,并去掉#Include conf/extra/httpd-vhosts.conf前面的#,启用虚拟主机功能2、先把localhost配置好,免得以后访问localhost出现问题,我的wamp项目根目录是D:\wamp\www。将下面信息添加到...

发表评论

访客

看不清,换一张

◎欢迎参与讨论,请在这里发表您的看法和观点。