Go爬虫(http、goquery和colly)详解

1、net/http爬虫

net/http配合正则表达式爬虫。

package main

import (
	"fmt"
	"io/ioutil"
	"log"
	"net/http"
	"os"
	"regexp"
	"strings"
	"sync"
)

// 负责抓取页面的源代码(html)
// 通过http包实现
func fetch(url string) string {

	// 得到一个客户端
	client := &http.Client{}
	request, _ := http.NewRequest("GET", url, nil)

	request.Header.Set("User-Agent", "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Mobile Safari/537.36")
	request.Header.Add("Cookie", "test_cookie=CheckForPermission; expires=Tue, 30-Aug-2022 01:04:32 GMT; path=/; domain=.doubleclick.net; Secure; HttpOnly; SameSite=none")

	// 客户端发送请求，并且获取一个响应
	response, err := client.Do(request)
	if err != nil {
		log.Println("Error: ", err)
		return ""
	}

	// 如果状态码不是200，就是响应错误
	if response.StatusCode != 200 {
		log.Println("Error: ", response.StatusCode)
		return ""
	}

	defer response.Body.Close() // 关闭

	// 读取响应体中的所有数据到body中，这就是需要的部分
	body, err := ioutil.ReadAll(response.Body)
	if err != nil {
		log.Println("Error: ", err)
		return ""
	}

	// 转换为字符串(字节切片 --> 字符串)
	return string(body)
}

var waitGroup sync.WaitGroup

// 解析页面源代码
func parseURL(body string) {

	// 将body(响应结果)中的换行替换掉，防止正则匹配出错
	html := strings.Replace(body, "\n", "", -1)
	// 正则匹配
	re_Img_div := regexp.MustCompile(`<div class="img_wrapper">(.*?)</div>`)

	img_div := re_Img_div.FindAllString(html, -1) // 得到<div><img/></div>

	for _, v := range img_div {

		// img正则
		re_link := regexp.MustCompile(`src="(.*?)"`)
		// 找到所有的图片链接
		links := re_link.FindAllString(v, -1) // 得到所有图片链接

		// 遍历links，切掉不必要的部分src="和最后的"
		for _, v := range links {

			src := v[5 : len(v)-1]
			src = "http:" + src

			waitGroup.Add(1)
			go downLoad(src)
		}
	}

}

// 下载
func downLoad(src string) {

	fmt.Println("================================", src)

	// 取一个文件名
	filename := string(src[len(src)-8 : len(src)])
	fmt.Println(filename)

	response, _ := http.Get(src)
	picdata, _ := ioutil.ReadAll(response.Body)

	image, _ := os.Create("./files/" + filename)
	image.Write(picdata)

	defer func() {
		image.Close()
		waitGroup.Done()
	}()
}

func main() {

	url := "http://games.sina.com.cn/t/n/2021-01-15/kftpnnx7445951.shtml"

	body := fetch(url)
	// fmt.Println(body)
	parseURL(body)

	waitGroup.Wait()
}

2、goquery库爬虫

goquery可以避免操作复杂的正则表达式，它可以直接根据url获取一个Document对象，然后根据标签选择器、类选择器和id选择器获取相应的选择对象，进行自定义的操作。

goquery可以灵活的获取页面中的元素。

*** 一个简单的例子，引出goquery中的重要API

package main

import (
	"fmt"
	"strings"

	"github.com/PuerkitoBio/goquery"
)

func main() {

	url := "http://games.sina.com.cn/t/n/2021-01-15/kftpnnx7445951.shtml"

	// 得到页面原文档对象
	d, _ := goquery.NewDocument(url)

	// 根据文档对象借助类选择器获取Selection对象，通过Each遍历所有的适配类选择器的对象
	// Each的参数是一个函数，里面是处理逻辑
	d.Find("img").Each(func(index int, s *goquery.Selection) {

		// 根据属性名获取属性值   一个Selection对象 --> <img src="http://localhost:8080/images" > text </img>
		text, _ := s.Attr("src")

		// 只处理gif动态图片
		if strings.HasSuffix(text, ".gif") {
			text = "http:" + text
			fmt.Println(text)
		}

	})
}

*** 操作一、获取html整个原文档

分别是goquery.NewDocument(url string)、goquery.NewDocumentFromResponse(*http.Response)、goquery.NewDocumentFromReader(*io.Reader)。三种方式的第一种比较最为方便使用。

package main

import (
	"log"
	"net/http"
	"strings"

	"github.com/PuerkitoBio/goquery"
)

/*
	goquery得到Document对象的3种方式
*/

// 1、通过NewDocument传入一个URL地址
func GetDocument_1(url string) string {

	document, _ := goquery.NewDocument(url)

	document.Find("href")

	return "document.Text()"
}

// 2、通过响应获取。第一种方式是第二种方式的封装
func GetDocument_2(url string) string {

	client := &http.Client{}
	request, _ := http.NewRequest("GET", url, nil)

	response, _ := client.Do(request)
	document, err := goquery.NewDocumentFromResponse(response)

	if err != nil {
		log.Fatalln(err)
	}
	document.Find("")

	return ""
}

// 3、有一个html文本的情况下，读取转换为Document对象
func GetDocument_3(html string) string {

	document, _ := goquery.NewDocumentFromReader(strings.NewReader(html))
	document.Find("")

	return ""
}

*** 操作二、选择器
同html的标识方式，在Find函数中。

*** 操作三、Selection相关方法

*** 最后来完成net/http中的网页爬虫

package main

import (
	"fmt"
	"io/ioutil"
	"net/http"
	"os"
	"strings"
	"sync"

	"github.com/PuerkitoBio/goquery"
)

var lock sync.WaitGroup

func main() {

	url := "http://games.sina.com.cn/t/n/2021-01-15/kftpnnx7445951.shtml"

	// 得到页面原文档对象
	d, _ := goquery.NewDocument(url)

	// 根据文档对象借助类选择器获取Selection对象，通过Each遍历所有的适配类选择器的对象
	// Each的参数是一个函数，里面是处理逻辑
	d.Find("img").Each(func(index int, s *goquery.Selection) {

		// 根据属性名获取属性值   一个Selection对象 --> <img src="http://localhost:8080/images" > text </img>
		text, _ := s.Attr("src")

		// 只处理gif动态图片
		if strings.HasSuffix(text, ".gif") {
			lock.Add(1)

			http := "http:" + text

			// 得到图片地址，开启协程下载图片
			go downLoading(http)
		}

	})

	lock.Wait()
}

func downLoading(src string) {

	fmt.Println("================================", src)

	// 取一个文件名
	filename := string(src[len(src)-8 : len(src)])
	fmt.Println(filename)

	response, _ := http.Get(src)
	picdata, _ := ioutil.ReadAll(response.Body)

	image, _ := os.Create("./files/" + filename)
	image.Write(picdata)

	defer func() {
		image.Close()
		lock.Done()
	}()
}

3、colly框架爬虫

首先要获取一个*colly.Collector对象；
然后注册处理函数OnXxx函数；
之后就可以访问url了。

*** OnXxx函数
主要操作都是由OnXxx函数的参数函数进行处理的

*** 完成图片的爬取

package main

import (
	"fmt"
	"io/ioutil"
	"net/http"
	"os"
	"strings"
	"sync"

	"github.com/gocolly/colly"
)

var locker sync.WaitGroup

func main() {

	col := colly.NewCollector()

	// 检测请求
	col.OnRequest(func(req *colly.Request) {
		fmt.Println("检测一个请求......")
	})

	// 检测响应
	col.OnResponse(func(r *colly.Response) {
		fmt.Println("检测一个响应......")
	})

	// 定位img标签。注册该函数，框架内部回调
	col.OnHTML("img", func(elem *colly.HTMLElement) {

		fmt.Println("ONXHTML")

		// 获取标签对应属性的值。
		// 其他对标签的操作，可以查看对应的API
		http := elem.Attr("src")

		if strings.HasSuffix(http, ".gif") {

			locker.Add(1)

			http := "http:" + http

			go DownLoad(http)
		}
	})

	col.Visit("http://games.sina.com.cn/t/n/2021-01-15/kftpnnx7445951.shtml")

	locker.Wait()
}

func DownLoad(src string) {

	fmt.Println("================================", src)

	// 取一个文件名
	filename := string(src[len(src)-8 : len(src)])
	fmt.Println(filename)

	response, _ := http.Get(src)
	picdata, _ := ioutil.ReadAll(response.Body)

	image, _ := os.Create("./files/" + filename)
	image.Write(picdata)

	defer func() {
		image.Close()
		locker.Done()
	}()
}

到此这篇关于Go爬虫(http、goquery和colly)的文章就介绍到这了,更多相关Go爬虫goquery和colly内容请搜索本网站以前的文章或继续浏览下面的相关文章希望大家以后多多支持本网站！

您可能感兴趣的文章:

使用Go+GoQuery库实现头条新闻采集
goquery 入门(安装使用教程)
go goquery网页解析实现示例
golang goquery selector选择器使用示例大全
golang解析网页利器goquery的使用方法
go 语言爬虫库goquery的具体使用

Go爬虫(http、goquery和colly)详解

目录

1、net/http爬虫

2、goquery库爬虫

3、colly框架爬虫

一篇文章搞懂Python的文件路径操作

详解linux下umask的使用

micro接口是什么样子的 micro usb接口是安卓接口吗

麒麟710A跑分多少麒麟710A安兔兔跑分介绍

使用Python操作MySQL数据库的教程详解

我的世界隐身药水怎么做我的世界隐身药水合成方法

MYSQL如何查看操作日志详解

关于Python-faker的函数效果一览

powercfg 命令关闭显示器写法

正规数字货币交易平台有哪些？数字货币十大交易平台

CF最新过机器码教程+过1分钟教程

JNDI具体用法详解

GXE币怎么买卖交易？GXE币上线了哪些交易所？

PS如何设计APP图标-PS绘制拟物风格APP图标教程

支付宝怎么看视频领红包- 支付宝视频线下红包的领取技巧

如何进行内存检测-内存检测的功能使用方法介绍

linux模糊查找文件用什么命令比较好

开源操作系统是什么意思开源操作系统简介

iPhone老是自动重启怎么办？苹果手机自动重启的解决方法

Tensorflow之Saver的用法详解

Go爬虫(http、goquery和colly)详解

目录

1、net/http爬虫

2、goquery库爬虫

3、colly框架爬虫

一篇文章搞懂Python的文件路径操作

详解linux下umask的使用

micro接口是什么样子的 micro usb接口是安卓接口吗

麒麟710A跑分多少 麒麟710A安兔兔跑分介绍

使用Python操作MySQL数据库的教程详解

我的世界隐身药水怎么做 我的世界隐身药水合成方法

MYSQL如何查看操作日志详解

关于Python-faker的函数效果一览

powercfg 命令 关闭显示器写法

正规数字货币交易平台有哪些？数字货币十大交易平台

CF最新过机器码教程+过1分钟教程

JNDI具体用法详解

GXE币怎么买卖交易？GXE币上线了哪些交易所？

PS如何设计APP图标-PS绘制拟物风格APP图标教程

支付宝怎么看视频领红包- 支付宝视频线下红包的领取技巧

如何进行内存检测-内存检测的功能使用方法介绍

linux模糊查找文件用什么命令比较好

开源操作系统是什么意思 开源操作系统简介

iPhone老是自动重启怎么办？苹果手机自动重启的解决方法

Tensorflow之Saver的用法详解

麒麟710A跑分多少麒麟710A安兔兔跑分介绍

我的世界隐身药水怎么做我的世界隐身药水合成方法

powercfg 命令关闭显示器写法

开源操作系统是什么意思开源操作系统简介