网络爬虫程序源码

网络爬虫程序源码这是一款用C#编写的网络爬虫主要特性有:可配置:线程数、线程等待时间,连接超时时间,可爬取文件类型和优先级、下载目录等。状态栏显示统计信息:排入队列URL数,已下载文件数,已下载总字节数,CPU使用率和可用内存等。有偏好的爬虫:可针对爬取的资源类型设置不同的优先级。健壮性:十几项URL正规化策略以排除冗余下载、爬虫陷阱避免策略的使用等、多种策略以解析相对路径等。较好的性能:基于正则表达式的页面解析、适度加锁、维持HTTP连接等。今后有空可能加入的特性:新特性介绍爬取文件用BerkeleyDB存储提高性能:常用操作系统不善于处理大量小文件基于URLRanking的优先级队列主题爬虫:机器学习算法对链接与主题相关度进行评估,并按照得出的优先级顺序进行爬取爬虫礼仪遵循爬虫禁止协议、以及避免对服务器资源的过度使用等性能优化用UDP取代封装好的HttpWebRequest/ResponseDNS缓存异步的DNS地址解析硬盘缓存或内存数据库以避免频繁的磁盘寻道分布式爬虫以扩展单机能力(CPU、内存和硬盘访问)

标签: 正则 线程 多线程 表达式

评分:

更新时间:2010-01-05

浏览次数:25695次

免费

winForm自动更新程序源码

winForm自动更新程序源码c#winform自动更新程序.web程序更新很简单,不用说了,而在C/S模式下怎么更新程序呢

标签: 学习源码 自动更新 QQ更新

评分:

更新时间:2010-01-27

浏览次数:25695次

免费

Printing.DataGridViewPrint源码

Printing.DataGridViewPrint源码功能介绍:DataGridView是一个很强大的数据显示控件,但是没有打印功能,Printing.DataGridViewPrint是使用C#开发,使用了.net3.5,Linq开发的数据库打印控件。功能包括:PrintlevelbylevelorcolumnbycolumnPrintselectedrowsorcolumnsCenterpartitionsonprintedsheetPagenumberingOptimizedDataGridViewTextBoxCellprintingWordwrappingandcellsizeaspresentedintheDataGridViewcontrolImplementthepowerofFramework.NET3.5.Aversionfor.NET2.0isalsoavailable.ProvidescaleresizingtoforcecolumnstofitontoasinglesheetOptionalHeader,FooterandTitleblocksprintin

标签: DataGridViewPrint 打印控件

评分:

更新时间:2013-11-04

浏览次数:5543次

免费

奎宇网站CMS模板(MVC)源码

奎宇网站CMS模板(MVC)源码源码描述:基于asp.netmvc的开源网站管理系统这是一套不断完善的开源后台管理系统,你可以免费的使用,而无需付费.本系统基于asp.netmvc技术开发,定期推出新的版本.该源码目前只完成界面部分。用户做后台可以下载借鉴

标签: cms模板

评分:

更新时间:2023-05-23

浏览次数:8051次

免费

EXCEL导入,分析及导出源码

简单的EXCEL导入,分析及导出

标签: EXCEL导入 分析及导出

评分:

更新时间:2020-02-13

浏览次数:4643次

免费

自动定时FTP下载器源码

自动定时FTP下载器源码网站自动备份专家包括自动定时打包器(AutoRAR)和自动定时FTP下载器(AutoFtp),是一套网站自动维护软件,可用于服务器上对网站定时进行备份,更可以把网站定时备份到其它服务器,无需人工操作,能自动定时执行。如:可以把网站每隔一天(或任意天)自动打包备份到备份服务器上,从而实现全智能化自动式的网站管理。此软件是自动定时FTP下载器注:如果无法运行,请安装.net3.0运行环境

标签: 网站自动备份 定时备份 自动打包

评分:

更新时间:2010-02-26

浏览次数:7322次

免费

设计模式示例源码

设计模式示例源码关乎20种设计模式简单代码,主要是实现方式,讲解比较详细。每一种设计模式都有具体的描述以及详细的实现代码。学习设计模式的朋友可以参考。

标签: 经典教程 设计模式

评分:

更新时间:2011-05-17

浏览次数:4928次

免费

WCF调用示例源码

WCF调用示例源码WCF相关介绍:WindowsCommunicationFoundation(WCF)是由微软发展的一组数据通信的应用程序开发接口可以翻译为Windows通讯接口,它是.NET框架的一部分,由.NETFramework3.0开始引入,与WindowsPresentationFoundation及WindowsWorkflowFoundation并行为新一代Windows操作系统以及WinFX的三个重大应用程序开发类库。程序示例为WCF的简单应用,如何创建合约,如何配置。程序中有详细的说明注释,请下载源码程序学习使用。作者:王磊

标签: WCF 网络通信

评分:

更新时间:2012-04-27

浏览次数:7658次

免费

Lucandra.NET搜索引擎源码

Lucandra.NET搜索引擎源码源码描述:Lucandra.NET是.NET版的Lucandra(Solandra)Solandra(原名为Lucandra)=Cassandra+LuceneSolandra=Solr+CassandraSolandra是一个实时的分布式搜索引擎,基于ApacheSolr和ApacheCassandra构建.

标签: Lucene 搜索引擎 LucandraNET

评分:

更新时间:2012-09-21

浏览次数:6861次

免费

Scrollable GridView源码

ScrollableGridView源码功能介绍:实现了GridView的滑动条,直接设置ScrollableGridView控件的高度,超出范围就会实现滑动条注意:开发环境为VisualStudio2010

标签: GridView scroll 滑动条

评分:

更新时间:2013-04-18

浏览次数:3272次

免费

C#超级通信调试工具源码

C#超级通信调试工具源码源码描述:软件名称:C#超级通信调试工具功能概要:1.串口,TCP服务端/客户端,UDP服务端/客户端通讯调试2.支持Hex,ASCII,UTF8,GB2312编码调试3.接收数据可通过右键菜单一键计算Hex对应的数值4.字节计算器/检验值计算器(CRC16,自定义多项式CRC16,XOR)5.串口超级终端6.Socket通信监视器7:Ping调试历史更新记录:版本:1.0发布时间:2013年9月16日计划更新:1.支持SQLITE数据库,能保存调试命令及最后使用的通信参数信息等2.调试命令的导入和导出3.可将接收的数据按指定编码格式直接写入指定的文件4.YModem协议的文件传输5.Zmodem协议的文件传输6.数据接收过滤器,转换器7.通信协议编辑器

标签: 串口 TCP UDP Socket CRC16 XOR

评分:

更新时间:2013-09-18

浏览次数:11656次

免费

OAuth2通用组件升级源码

OAuth2通用组件升级源码功能介绍:OAuth2.0同时提供Web,桌面和移动应用程序的支持,并较1.0相比整个授权验证流程更简单更安全。也是新浪微博开放平台未来最主要的用户身份验证和授权方式。升级内容:1:引入了淘宝登陆(不是搞淘客站的,淘小二以没备案为由,不给过,鄙视下);2:优化Tool类的GetJosnValue,更加适应不同不规范的Json截取相应的值;3:搭配了最新版本的CYQ.DataV5数据组件来操作文本数据库。4:源码中增加了Demo示例。注意:开发环境为VisualStudio2005

标签: QQ登陆 OAuth2 社区登陆 新浪登陆

评分:

更新时间:2012-12-11

浏览次数:4884次

免费