游戏蛮牛学习群(纯技术交流,不闲聊):539178957
游戏蛮牛 手机端
开启辅助访问
 找回密码
 注册帐号

扫一扫,访问微社区

开发者专栏

关注:2286

当前位置:游戏蛮牛 技术专区 开发者专栏

__________________________________________________________________________________
开发者干货区版块规则:

  1、文章必须是图文形式。(至少2幅图)
      2、文章字数必须保持在1500字节以上。(编辑器右下角有字数检查)
      3、本版块只支持在游戏蛮牛原创首发,不支持转载。
      4、本版块回复不得无意义,如:顶、呵呵、不错......【真的会扣分的哦】
      5、......
__________________________________________________________________________________
查看: 357|回复: 7

[游戏小猪] c# 爬虫做一个爬虫

[复制链接]  [移动端链接]
5熟悉之中
884/1000
排名
3114
昨日变化
13

11

主题

71

帖子

884

积分

Rank: 5Rank: 5

UID
228559
好友
6
蛮牛币
2149
威望
0
注册时间
2017-6-25
在线时间
348 小时
最后登录
2018-8-16

专栏作家

QQ
发表于 6 天前 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有帐号?注册帐号

x

这两天用c# 做了一个简单的爬虫,用来爬取往期的彩票开奖数据;遇到了一些坑,分享一下;首先,c#爬虫有很多做的不错的框架可以用,非常方便;但是只是一个简单的爬取数据,说真的,没必要再去学框架怎么使用;   而且,由于用C#来做爬虫的少之又少,所以相关的资料也是不太多;如果要做功能复杂的,会有点吃力;
0.jpg
DotnetSpider

DotnetSpider这是国人开源的一个跨平台、高性能、轻量级的爬虫软件,采用 C# 开发。目前是.Net开源爬虫最为优秀的爬虫之一。

NWebCrawler

NWebCrawler是一款开源的C#网络爬虫程序更多NWebCrawler

SmartSpider

SmartSpider爬虫引擎内核版,全新的设计理念,真正的极简版本。

Abot

Abot是一个开源的.net爬虫,速度快,易于使用和扩展。

xNet

这个一个俄国牛人写的开源工具,为啥说他强悍了,因为他将所有Http协议的底层都实现了一遍,这有啥好处?只要你是写爬虫的,都会遇到一个让人抓狂的问题,就是明明知道自己Http请求头跟浏览器一模一样了,为啥还会获取不到自己想要的数据。这时你如果使用HttpWebReaquest,你只能调试到GetRespone,底层的字节流是调试不到了。所以必须得有个更深入的底层组件,方便自己调试。

AngleSharp

  解析HTML利器AngleSharp介绍解析HTML利器AngleSharp介绍AngleSharp是基于.NET(C#)开发的专门为解析xHTML源码的DLL组件。

HtmlAgilityPack

HtmlAgilityPack 是 .NET 下的一个 HTML 解析类库。支持用 XPath 来解析 HTML 。命名空间: HtmlAgilityPack

CSQuery

CsQuery 犀利的html代码分析库,像jq一样用c#处理html


  我这里只是要做个很简单的爬虫,所以我直接用了HtmlAgilityPack这个类库;他直接以XPATH的方式来查找节点,用起来像是xml一样,还算是非常方便;不过这里有个小坑,那就是遇到GZIP的时候,需要像下边这样写

1.jpg


如此,就可以正常的解析了;然后ctrl+f5

2.jpg

最后,我把采集到的数据写成了json来保存,这点东西,没必要整个数据库了





demo.txt

64 Bytes, 下载次数: 10

售价: 1 蛮牛币  [记录]

代码练级


回复

使用道具 举报

4四处流浪
311/500
排名
6207
昨日变化
2

0

主题

55

帖子

311

积分

Rank: 4

UID
276682
好友
0
蛮牛币
773
威望
0
注册时间
2018-4-11
在线时间
56 小时
最后登录
2018-8-16
发表于 6 天前 | 显示全部楼层
感谢分享

回复

使用道具 举报

5熟悉之中
673/1000
排名
4422
昨日变化
26

0

主题

160

帖子

673

积分

Rank: 5Rank: 5

UID
235877
好友
0
蛮牛币
766
威望
0
注册时间
2017-8-4
在线时间
211 小时
最后登录
2018-8-16
发表于 6 天前 | 显示全部楼层
[发帖际遇]: yonggq 被钱袋砸中进医院,看病花了 2 蛮牛币. 幸运榜 / 衰神榜

回复

使用道具 举报

6蛮牛粉丝
1226/1500
排名
3131
昨日变化
4

10

主题

510

帖子

1226

积分

Rank: 6Rank: 6Rank: 6

UID
214924
好友
2
蛮牛币
2717
威望
0
注册时间
2017-3-28
在线时间
268 小时
最后登录
2018-8-16
发表于 6 天前 | 显示全部楼层
膜拜ing~
[发帖际遇]: fengxs420 发帖时在路边捡到 1 蛮牛币,偷偷放进了口袋. 幸运榜 / 衰神榜

回复

使用道具 举报

7日久生情
3143/5000
排名
2232
昨日变化
6

0

主题

2099

帖子

3143

积分

Rank: 7Rank: 7Rank: 7Rank: 7

UID
219676
好友
1
蛮牛币
2441
威望
0
注册时间
2017-7-12
在线时间
464 小时
最后登录
2018-8-16

活力之星

发表于 6 天前 | 显示全部楼层
谢谢分享

回复

使用道具 举报

5熟悉之中
793/1000
排名
4092
昨日变化
19

1

主题

145

帖子

793

积分

Rank: 5Rank: 5

UID
139214
好友
0
蛮牛币
1150
威望
0
注册时间
2016-3-12
在线时间
317 小时
最后登录
2018-8-16
发表于 6 天前 | 显示全部楼层
[发帖际遇]: 云外九霄 发帖时在路边捡到 2 蛮牛币,偷偷放进了口袋. 幸运榜 / 衰神榜

回复

使用道具 举报

排名
18102
昨日变化
560

0

主题

43

帖子

91

积分

Rank: 2Rank: 2

UID
292147
好友
0
蛮牛币
238
威望
0
注册时间
2018-8-1
在线时间
16 小时
最后登录
2018-8-16
发表于 5 天前 | 显示全部楼层
666666666666

回复

使用道具 举报

7日久生情
1589/5000
排名
3537
昨日变化
15

1

主题

994

帖子

1589

积分

Rank: 7Rank: 7Rank: 7Rank: 7

UID
119154
好友
0
蛮牛币
1659
威望
0
注册时间
2015-8-21
在线时间
210 小时
最后登录
2018-8-16
发表于 前天 14:59 | 显示全部楼层
谢谢楼主大大。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册帐号

本版积分规则

快速回复 返回顶部 返回列表