【游戏技术群】959392658  【游戏出海群】12067810
游戏蛮牛 手机端
开启辅助访问
 找回密码
 注册帐号

扫一扫,访问微社区

开发者专栏

关注:2401

当前位置:游戏蛮牛 技术专区 开发者专栏

__________________________________________________________________________________
开发者干货区版块规则:

  1、文章必须是图文形式。(至少2幅图)
      2、文章字数必须保持在1500字节以上。(编辑器右下角有字数检查)
      3、本版块只支持在游戏蛮牛原创首发,不支持转载。
      4、本版块回复不得无意义,如:顶、呵呵、不错......【真的会扣分的哦】
      5、......
__________________________________________________________________________________
查看: 1283|回复: 10

[游戏小猪] c# 爬虫做一个爬虫

[复制链接]  [移动端链接]
6蛮牛粉丝
1206/1500
排名
1967
昨日变化
2

11

主题

76

帖子

1206

积分

Rank: 6Rank: 6Rank: 6

UID
228559
好友
7
蛮牛币
2713
威望
0
注册时间
2017-6-25
在线时间
423 小时
最后登录
2019-1-21

专栏作家

QQ
发表于 2018-8-10 11:10:12 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有帐号?注册帐号

x

这两天用c# 做了一个简单的爬虫,用来爬取往期的彩票开奖数据;遇到了一些坑,分享一下;首先,c#爬虫有很多做的不错的框架可以用,非常方便;但是只是一个简单的爬取数据,说真的,没必要再去学框架怎么使用;   而且,由于用C#来做爬虫的少之又少,所以相关的资料也是不太多;如果要做功能复杂的,会有点吃力;
0.jpg
DotnetSpider

DotnetSpider这是国人开源的一个跨平台、高性能、轻量级的爬虫软件,采用 C# 开发。目前是.Net开源爬虫最为优秀的爬虫之一。

NWebCrawler

NWebCrawler是一款开源的C#网络爬虫程序更多NWebCrawler

SmartSpider

SmartSpider爬虫引擎内核版,全新的设计理念,真正的极简版本。

Abot

Abot是一个开源的.net爬虫,速度快,易于使用和扩展。

xNet

这个一个俄国牛人写的开源工具,为啥说他强悍了,因为他将所有Http协议的底层都实现了一遍,这有啥好处?只要你是写爬虫的,都会遇到一个让人抓狂的问题,就是明明知道自己Http请求头跟浏览器一模一样了,为啥还会获取不到自己想要的数据。这时你如果使用HttpWebReaquest,你只能调试到GetRespone,底层的字节流是调试不到了。所以必须得有个更深入的底层组件,方便自己调试。

AngleSharp

  解析HTML利器AngleSharp介绍解析HTML利器AngleSharp介绍AngleSharp是基于.NET(C#)开发的专门为解析xHTML源码的DLL组件。

HtmlAgilityPack

HtmlAgilityPack 是 .NET 下的一个 HTML 解析类库。支持用 XPath 来解析 HTML 。命名空间: HtmlAgilityPack

CSQuery

CsQuery 犀利的html代码分析库,像jq一样用c#处理html


  我这里只是要做个很简单的爬虫,所以我直接用了HtmlAgilityPack这个类库;他直接以XPATH的方式来查找节点,用起来像是xml一样,还算是非常方便;不过这里有个小坑,那就是遇到GZIP的时候,需要像下边这样写

1.jpg


如此,就可以正常的解析了;然后ctrl+f5

2.jpg

最后,我把采集到的数据写成了json来保存,这点东西,没必要整个数据库了





demo.txt

64 Bytes, 下载次数: 24

售价: 1 蛮牛币  [记录]

代码练级


回复

使用道具 举报

5熟悉之中
749/1000
排名
3050
昨日变化
14

0

主题

111

帖子

749

积分

Rank: 5Rank: 5

UID
276682
好友
0
蛮牛币
1515
威望
0
注册时间
2018-4-11
在线时间
164 小时
最后登录
2019-1-23
发表于 2018-8-10 13:59:53 | 显示全部楼层
感谢分享

回复

使用道具 举报

5熟悉之中
824/1000
排名
3698
昨日变化

0

主题

167

帖子

824

积分

Rank: 5Rank: 5

UID
235877
好友
0
蛮牛币
1115
威望
0
注册时间
2017-8-4
在线时间
259 小时
最后登录
2018-12-7
发表于 2018-8-10 15:32:09 | 显示全部楼层
[发帖际遇]: yonggq 被钱袋砸中进医院,看病花了 2 蛮牛币. 幸运榜 / 衰神榜

回复

使用道具 举报

7日久生情
1778/5000
排名
2062
昨日变化
3

22

主题

669

帖子

1778

积分

Rank: 7Rank: 7Rank: 7Rank: 7

UID
214924
好友
3
蛮牛币
6417
威望
0
注册时间
2017-3-28
在线时间
429 小时
最后登录
2019-1-22

锦衣玉食

发表于 2018-8-10 15:45:53 | 显示全部楼层
膜拜ing~
[发帖际遇]: fengxs420 发帖时在路边捡到 1 蛮牛币,偷偷放进了口袋. 幸运榜 / 衰神榜

你以为你以为得就是你以为的
回复

使用道具 举报

7日久生情
3530/5000
排名
1577
昨日变化
1

0

主题

2129

帖子

3530

积分

Rank: 7Rank: 7Rank: 7Rank: 7

UID
219676
好友
1
蛮牛币
2631
威望
0
注册时间
2017-7-12
在线时间
595 小时
最后登录
2019-1-22

活力之星

发表于 2018-8-10 17:00:02 | 显示全部楼层
谢谢分享

回复

使用道具 举报

6蛮牛粉丝
1080/1500
排名
2995
昨日变化
1

1

主题

167

帖子

1080

积分

Rank: 6Rank: 6Rank: 6

UID
139214
好友
0
蛮牛币
1615
威望
0
注册时间
2016-3-12
在线时间
430 小时
最后登录
2019-1-15
发表于 2018-8-10 17:31:42 | 显示全部楼层
[发帖际遇]: 云外九霄 发帖时在路边捡到 2 蛮牛币,偷偷放进了口袋. 幸运榜 / 衰神榜

回复

使用道具 举报

3偶尔光临
298/300
排名
6835
昨日变化
3

0

主题

47

帖子

298

积分

Rank: 3Rank: 3Rank: 3

UID
292147
好友
0
蛮牛币
917
威望
0
注册时间
2018-8-1
在线时间
61 小时
最后登录
2018-12-19
发表于 2018-8-11 15:09:29 | 显示全部楼层
666666666666

回复

使用道具 举报

7日久生情
2434/5000
排名
2427
昨日变化
6

1

主题

1551

帖子

2434

积分

Rank: 7Rank: 7Rank: 7Rank: 7

UID
119154
好友
0
蛮牛币
2746
威望
0
注册时间
2015-8-21
在线时间
304 小时
最后登录
2019-1-22
发表于 2018-8-14 14:59:17 | 显示全部楼层
谢谢楼主大大。

回复

使用道具 举报

7日久生情
4126/5000
排名
1868
昨日变化
7

0

主题

2925

帖子

4126

积分

Rank: 7Rank: 7Rank: 7Rank: 7

UID
185339
好友
1
蛮牛币
4009
威望
0
注册时间
2016-11-20
在线时间
495 小时
最后登录
2019-1-23
发表于 2018-8-17 09:13:41 | 显示全部楼层

回复

使用道具 举报

7日久生情
4126/5000
排名
1868
昨日变化
7

0

主题

2925

帖子

4126

积分

Rank: 7Rank: 7Rank: 7Rank: 7

UID
185339
好友
1
蛮牛币
4009
威望
0
注册时间
2016-11-20
在线时间
495 小时
最后登录
2019-1-23
发表于 2018-8-17 09:14:47 | 显示全部楼层

回复

使用道具 举报

7日久生情
2071/5000
排名
1017
昨日变化
5

19

主题

229

帖子

2071

积分

Rank: 7Rank: 7Rank: 7Rank: 7

UID
172976
好友
4
蛮牛币
1036
威望
0
注册时间
2016-9-30
在线时间
774 小时
最后登录
2019-1-23
发表于 2018-8-20 09:11:15 | 显示全部楼层
C# 的爬虫,挺有意思的,学习一下
[发帖际遇]: innaturegod 被钱袋砸中进医院,看病花了 2 蛮牛币. 幸运榜 / 衰神榜

回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册帐号

本版积分规则

快速回复 返回顶部 返回列表