找回密码
 注册帐号

扫一扫,访问微社区

游戏小猪 c# 爬虫做一个爬虫

10
回复
1740
查看
[ 复制链接 ]
6蛮牛粉丝
1285/1500
排名
1805
昨日变化

11

主题

76

帖子

1285

积分

Rank: 6Rank: 6Rank: 6

UID
228559
好友
8
蛮牛币
2898
威望
0
注册时间
2017-6-25
在线时间
442 小时
最后登录
2019-4-16

专栏作家

QQ
2018-8-10 11:10:12 显示全部楼层 阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有帐号?注册帐号

x

这两天用c# 做了一个简单的爬虫,用来爬取往期的彩票开奖数据;遇到了一些坑,分享一下;首先,c#爬虫有很多做的不错的框架可以用,非常方便;但是只是一个简单的爬取数据,说真的,没必要再去学框架怎么使用;   而且,由于用C#来做爬虫的少之又少,所以相关的资料也是不太多;如果要做功能复杂的,会有点吃力;
0.jpg
DotnetSpider

DotnetSpider这是国人开源的一个跨平台、高性能、轻量级的爬虫软件,采用 C# 开发。目前是.Net开源爬虫最为优秀的爬虫之一。

NWebCrawler

NWebCrawler是一款开源的C#网络爬虫程序更多NWebCrawler

SmartSpider

SmartSpider爬虫引擎内核版,全新的设计理念,真正的极简版本。

Abot

Abot是一个开源的.net爬虫,速度快,易于使用和扩展。

xNet

这个一个俄国牛人写的开源工具,为啥说他强悍了,因为他将所有Http协议的底层都实现了一遍,这有啥好处?只要你是写爬虫的,都会遇到一个让人抓狂的问题,就是明明知道自己Http请求头跟浏览器一模一样了,为啥还会获取不到自己想要的数据。这时你如果使用HttpWebReaquest,你只能调试到GetRespone,底层的字节流是调试不到了。所以必须得有个更深入的底层组件,方便自己调试。

AngleSharp

  解析HTML利器AngleSharp介绍解析HTML利器AngleSharp介绍AngleSharp是基于.NET(C#)开发的专门为解析xHTML源码的DLL组件。

HtmlAgilityPack

HtmlAgilityPack 是 .NET 下的一个 HTML 解析类库。支持用 XPath 来解析 HTML 。命名空间: HtmlAgilityPack

CSQuery

CsQuery 犀利的html代码分析库,像jq一样用c#处理html


  我这里只是要做个很简单的爬虫,所以我直接用了HtmlAgilityPack这个类库;他直接以XPATH的方式来查找节点,用起来像是xml一样,还算是非常方便;不过这里有个小坑,那就是遇到GZIP的时候,需要像下边这样写

1.jpg


如此,就可以正常的解析了;然后ctrl+f5

2.jpg

最后,我把采集到的数据写成了json来保存,这点东西,没必要整个数据库了





demo.txt

64 Bytes, 下载次数: 24

售价: 1 蛮牛币  [记录]

代码练级

回复

使用道具 举报

5熟悉之中
970/1000
排名
2502
昨日变化

0

主题

138

帖子

970

积分

Rank: 5Rank: 5

UID
276682
好友
0
蛮牛币
1969
威望
0
注册时间
2018-4-11
在线时间
258 小时
最后登录
2019-5-22
2018-8-10 13:59:53 显示全部楼层
感谢分享
回复

使用道具 举报

5熟悉之中
828/1000
排名
3782
昨日变化

0

主题

169

帖子

828

积分

Rank: 5Rank: 5

UID
235877
好友
0
蛮牛币
1109
威望
0
注册时间
2017-8-4
在线时间
261 小时
最后登录
2019-5-18
2018-8-10 15:32:09 显示全部楼层
回复

使用道具 举报

7日久生情
2022/5000
排名
1896
昨日变化

41

主题

741

帖子

2022

积分

Rank: 7Rank: 7Rank: 7Rank: 7

UID
214924
好友
4
蛮牛币
18181
威望
0
注册时间
2017-3-28
在线时间
524 小时
最后登录
2019-5-22
2018-8-10 15:45:53 显示全部楼层
膜拜ing~
回复

使用道具 举报

7日久生情
3744/5000
排名
1487
昨日变化

0

主题

2140

帖子

3744

积分

Rank: 7Rank: 7Rank: 7Rank: 7

UID
219676
好友
1
蛮牛币
3334
威望
0
注册时间
2017-7-12
在线时间
750 小时
最后登录
2019-5-22

活力之星

2018-8-10 17:00:02 显示全部楼层
谢谢分享
回复

使用道具 举报

6蛮牛粉丝
1084/1500
排名
3054
昨日变化

1

主题

168

帖子

1084

积分

Rank: 6Rank: 6Rank: 6

UID
139214
好友
0
蛮牛币
1624
威望
0
注册时间
2016-3-12
在线时间
431 小时
最后登录
2019-3-7
2018-8-10 17:31:42 显示全部楼层
回复

使用道具 举报

3偶尔光临
298/300
排名
6931
昨日变化

0

主题

47

帖子

298

积分

Rank: 3Rank: 3Rank: 3

UID
292147
好友
0
蛮牛币
917
威望
0
注册时间
2018-8-1
在线时间
61 小时
最后登录
2018-12-19
2018-8-11 15:09:29 显示全部楼层
666666666666
回复

使用道具 举报

7日久生情
2740/5000
排名
2230
昨日变化

1

主题

1757

帖子

2740

积分

Rank: 7Rank: 7Rank: 7Rank: 7

UID
119154
好友
0
蛮牛币
2883
威望
0
注册时间
2015-8-21
在线时间
352 小时
最后登录
2019-5-22
2018-8-14 14:59:17 显示全部楼层
谢谢楼主大大。
回复

使用道具 举报

8常驻蛮牛
5123/10000
排名
1668
昨日变化

0

主题

3659

帖子

5123

积分

Rank: 8Rank: 8

UID
185339
好友
1
蛮牛币
3614
威望
0
注册时间
2016-11-20
在线时间
686 小时
最后登录
2019-5-22
2018-8-17 09:13:41 显示全部楼层
回复

使用道具 举报

8常驻蛮牛
5123/10000
排名
1668
昨日变化

0

主题

3659

帖子

5123

积分

Rank: 8Rank: 8

UID
185339
好友
1
蛮牛币
3614
威望
0
注册时间
2016-11-20
在线时间
686 小时
最后登录
2019-5-22
2018-8-17 09:14:47 显示全部楼层
回复

使用道具 举报

7日久生情
2181/5000
排名
970
昨日变化

19

主题

230

帖子

2181

积分

Rank: 7Rank: 7Rank: 7Rank: 7

UID
172976
好友
5
蛮牛币
1146
威望
0
注册时间
2016-9-30
在线时间
844 小时
最后登录
2019-5-15
2018-8-20 09:11:15 显示全部楼层
C# 的爬虫,挺有意思的,学习一下
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册帐号

本版积分规则