admin 管理员组

文章数量: 887021

使用 Colly 实现 豆瓣电影Top250爬取

package main

import (
	"encoding/csv"
	"github/PuerkitoBio/goquery"
	"github/gocolly/colly"
	"log"
	"os"
	"strings"
	"time"
)

type Movie struct {
	idx    string
	title  string
	year   string
	info   string
	rating string
	url    string
}

func main() {

	// 存储文件名
	fName := "douban_movie_top250.csv"
	file, err := os.Create(fName)
	if err != nil {
		log.Fatalf("创建文件失败 %q: %s\n", fName, err)
		return
	}
	defer file.Close()
	writer := csv.NewWriter(file)
	defer writer.Flush()
	// 写CSV头部
	writer.Write([]string{"Idx", "Title", "Year", "Info", "Rating", "URL"})

	// 起始Url
	startUrl := "https://movie.douban/top250"

	// 创建Collector
	collector := colly.NewCollector(
		// 设置用户代理
		colly.UserAgent("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_2) AppleWebKit

本文标签： 豆瓣 电影 Colly

版权声明：本文标题：Colly实现豆瓣电影Top250爬取 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.freenas.com.cn/jishu/1726434590h959973.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。