游戏蛮牛学习群(纯技术交流,不闲聊):159852603
游戏蛮牛 手机端
开启辅助访问
 找回密码
 注册帐号

扫一扫,访问微社区

开发者专栏

关注:2335

当前位置:游戏蛮牛 技术专区 开发者专栏

__________________________________________________________________________________
开发者干货区版块规则:

  1、文章必须是图文形式。(至少2幅图)
      2、文章字数必须保持在1500字节以上。(编辑器右下角有字数检查)
      3、本版块只支持在游戏蛮牛原创首发,不支持转载。
      4、本版块回复不得无意义,如:顶、呵呵、不错......【真的会扣分的哦】
      5、......
__________________________________________________________________________________
查看: 866|回复: 10

[游戏小猪] c# 爬虫做一个爬虫

[复制链接]  [移动端链接]
6蛮牛粉丝
1023/1500
排名
2511
昨日变化

11

主题

75

帖子

1023

积分

Rank: 6Rank: 6Rank: 6

UID
228559
好友
6
蛮牛币
2371
威望
0
注册时间
2017-6-25
在线时间
381 小时
最后登录
2018-10-21

专栏作家

QQ
发表于 2018-8-10 11:10:12 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有帐号?注册帐号

x

这两天用c# 做了一个简单的爬虫,用来爬取往期的彩票开奖数据;遇到了一些坑,分享一下;首先,c#爬虫有很多做的不错的框架可以用,非常方便;但是只是一个简单的爬取数据,说真的,没必要再去学框架怎么使用;   而且,由于用C#来做爬虫的少之又少,所以相关的资料也是不太多;如果要做功能复杂的,会有点吃力;
0.jpg
DotnetSpider

DotnetSpider这是国人开源的一个跨平台、高性能、轻量级的爬虫软件,采用 C# 开发。目前是.Net开源爬虫最为优秀的爬虫之一。

NWebCrawler

NWebCrawler是一款开源的C#网络爬虫程序更多NWebCrawler

SmartSpider

SmartSpider爬虫引擎内核版,全新的设计理念,真正的极简版本。

Abot

Abot是一个开源的.net爬虫,速度快,易于使用和扩展。

xNet

这个一个俄国牛人写的开源工具,为啥说他强悍了,因为他将所有Http协议的底层都实现了一遍,这有啥好处?只要你是写爬虫的,都会遇到一个让人抓狂的问题,就是明明知道自己Http请求头跟浏览器一模一样了,为啥还会获取不到自己想要的数据。这时你如果使用HttpWebReaquest,你只能调试到GetRespone,底层的字节流是调试不到了。所以必须得有个更深入的底层组件,方便自己调试。

AngleSharp

  解析HTML利器AngleSharp介绍解析HTML利器AngleSharp介绍AngleSharp是基于.NET(C#)开发的专门为解析xHTML源码的DLL组件。

HtmlAgilityPack

HtmlAgilityPack 是 .NET 下的一个 HTML 解析类库。支持用 XPath 来解析 HTML 。命名空间: HtmlAgilityPack

CSQuery

CsQuery 犀利的html代码分析库,像jq一样用c#处理html


  我这里只是要做个很简单的爬虫,所以我直接用了HtmlAgilityPack这个类库;他直接以XPATH的方式来查找节点,用起来像是xml一样,还算是非常方便;不过这里有个小坑,那就是遇到GZIP的时候,需要像下边这样写

1.jpg


如此,就可以正常的解析了;然后ctrl+f5

2.jpg

最后,我把采集到的数据写成了json来保存,这点东西,没必要整个数据库了





demo.txt

64 Bytes, 下载次数: 17

售价: 1 蛮牛币  [记录]

代码练级


回复

使用道具 举报

5熟悉之中
502/1000
排名
4236
昨日变化

0

主题

80

帖子

502

积分

Rank: 5Rank: 5

UID
276682
好友
0
蛮牛币
1133
威望
0
注册时间
2018-4-11
在线时间
98 小时
最后登录
2018-10-22
发表于 2018-8-10 13:59:53 | 显示全部楼层
感谢分享

回复

使用道具 举报

5熟悉之中
777/1000
排名
3802
昨日变化

0

主题

169

帖子

777

积分

Rank: 5Rank: 5

UID
235877
好友
0
蛮牛币
1026
威望
0
注册时间
2017-8-4
在线时间
244 小时
最后登录
2018-10-18
发表于 2018-8-10 15:32:09 | 显示全部楼层
[发帖际遇]: yonggq 被钱袋砸中进医院,看病花了 2 蛮牛币. 幸运榜 / 衰神榜

回复

使用道具 举报

6蛮牛粉丝
1452/1500
排名
2664
昨日变化

11

主题

592

帖子

1452

积分

Rank: 6Rank: 6Rank: 6

UID
214924
好友
3
蛮牛币
3582
威望
0
注册时间
2017-3-28
在线时间
333 小时
最后登录
2018-10-22
发表于 2018-8-10 15:45:53 | 显示全部楼层
膜拜ing~
[发帖际遇]: fengxs420 发帖时在路边捡到 1 蛮牛币,偷偷放进了口袋. 幸运榜 / 衰神榜

回复

使用道具 举报

7日久生情
3302/5000
排名
1931
昨日变化

0

主题

2122

帖子

3302

积分

Rank: 7Rank: 7Rank: 7Rank: 7

UID
219676
好友
1
蛮牛币
2417
威望
0
注册时间
2017-7-12
在线时间
514 小时
最后登录
2018-10-22

活力之星

发表于 2018-8-10 17:00:02 | 显示全部楼层
谢谢分享

回复

使用道具 举报

5熟悉之中
963/1000
排名
3336
昨日变化

1

主题

159

帖子

963

积分

Rank: 5Rank: 5

UID
139214
好友
0
蛮牛币
1425
威望
0
注册时间
2016-3-12
在线时间
387 小时
最后登录
2018-10-22
发表于 2018-8-10 17:31:42 | 显示全部楼层
[发帖际遇]: 云外九霄 发帖时在路边捡到 2 蛮牛币,偷偷放进了口袋. 幸运榜 / 衰神榜

回复

使用道具 举报

3偶尔光临
228/300
排名
8369
昨日变化

0

主题

46

帖子

228

积分

Rank: 3Rank: 3Rank: 3

UID
292147
好友
0
蛮牛币
737
威望
0
注册时间
2018-8-1
在线时间
46 小时
最后登录
2018-10-22
发表于 2018-8-11 15:09:29 | 显示全部楼层
666666666666

回复

使用道具 举报

7日久生情
2137/5000
排名
2815
昨日变化

1

主题

1375

帖子

2137

积分

Rank: 7Rank: 7Rank: 7Rank: 7

UID
119154
好友
0
蛮牛币
2282
威望
0
注册时间
2015-8-21
在线时间
271 小时
最后登录
2018-10-22
发表于 2018-8-14 14:59:17 | 显示全部楼层
谢谢楼主大大。

回复

使用道具 举报

7日久生情
3179/5000
排名
2316
昨日变化

0

主题

2276

帖子

3179

积分

Rank: 7Rank: 7Rank: 7Rank: 7

UID
185339
好友
1
蛮牛币
4554
威望
0
注册时间
2016-11-20
在线时间
327 小时
最后登录
2018-10-22
发表于 2018-8-17 09:13:41 | 显示全部楼层

回复

使用道具 举报

7日久生情
3179/5000
排名
2316
昨日变化

0

主题

2276

帖子

3179

积分

Rank: 7Rank: 7Rank: 7Rank: 7

UID
185339
好友
1
蛮牛币
4554
威望
0
注册时间
2016-11-20
在线时间
327 小时
最后登录
2018-10-22
发表于 2018-8-17 09:14:47 | 显示全部楼层

回复

使用道具 举报

7日久生情
1858/5000
排名
1208
昨日变化

19

主题

223

帖子

1858

积分

Rank: 7Rank: 7Rank: 7Rank: 7

UID
172976
好友
4
蛮牛币
697
威望
0
注册时间
2016-9-30
在线时间
692 小时
最后登录
2018-10-18
发表于 2018-8-20 09:11:15 | 显示全部楼层
C# 的爬虫,挺有意思的,学习一下
[发帖际遇]: innaturegod 被钱袋砸中进医院,看病花了 2 蛮牛币. 幸运榜 / 衰神榜

回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册帐号

本版积分规则

快速回复 返回顶部 返回列表