phpcms无法采集怎么办

phpcms无法采集怎么办?

无法采集https的网站内容主要是https不支持file_get_contents获取内容,所以可以考虑采用curl的方式获取。(需要开启curl,可以在pathinfo里边查看)

(1)打开phpcms\modules\collection\classes\collection.class.php

在类里边添加新函数:

protected static function curl_request($url){
if (!function_exists('curl_init')) {
throw new Exception('server not install curl');
}
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL,$url);
curl_setopt($ch, CURLOPT_HEADER,0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);//禁止调用时就输出获取到的数据
curl_setopt($ch, CURLOPT_FOLLOWLOCATION,1);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER,false);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST,false);
$result = curl_exec($ch);
curl_close($ch);
return $result;
}

(2)找到函数function get_htm把该函数

protected static function get_html($url, &$config) {
if (!empty($url) && $html = @file_get_contents($url)) {
if ($syscharset != $config['sourcecharset'] && $config['sourcetype'] != 4) {
$html = iconv($config['sourcecharset'], CHARSET.'//TRANSLIT//IGNORE', $html);
}
return $html;
} else {
return false;
}
}

改成

protected static function get_html($url, &$config) {
if(substr(trim($url),0, 5) == "https"){
$html = @self::curl_request($url);
}else{
$html = @file_get_contents($url);
}
if (!empty($url) && $html) {
if ($syscharset != $config['sourcecharset'] && $config['sourcetype'] != 4) {
$html = iconv($config['sourcecharset'], CHARSET.'//TRANSLIT//IGNORE', $html);
}
return $html;
} else {
return false;
}
}

然后保存即可获取,测试结果

phpcms无法采集怎么办

不知道是否还有其他bug,欢迎留言反馈!

PHP中文网,大量的免费PHPCMS教程,欢迎在线学习!


phpcms无法采集怎么办

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。