网络爬虫程序源码这是一款用C#编写的网络爬虫主要特性有:可配置:线程数、线程等待时间,连接超时时间,可爬取文件类型和优先级、下载目录等。状态栏显示统计信息:排入队列URL数,已下载文件数,已下载总字节数,CPU使用率和可用内存等。有偏好的爬虫:可针对爬取的资源类型设置不同的优先级。健壮性:十几项URL正规化策略以排除冗余下载、爬虫陷阱避免策略的使用等、多种策略以解析相对路径等。较好的性能:基于正则表达式的页面解析、适度加锁、维持HTTP连接等。今后有空可能加入的特性:新特性介绍爬取文件用BerkeleyDB存储提高性能:常用操作系统不善于处理大量小文件基于URLRanking的优先级队列主题爬虫:机器学习算法对链接与主题相关度进行评估,并按照得出的优先级顺序进行爬取爬虫礼仪遵循爬虫禁止协议、以及避免对服务器资源的过度使用等性能优化用UDP取代封装好的HttpWebRequest/ResponseDNS缓存异步的DNS地址解析硬盘缓存或内存数据库以避免频繁的磁盘寻道分布式爬虫以扩展单机能力(CPU、内存和硬盘访问)
评分:
更新时间:2010-01-05
浏览次数:25695次
免费
评分:
更新时间:2010-01-27
浏览次数:25695次
免费
Printing.DataGridViewPrint源码功能介绍:DataGridView是一个很强大的数据显示控件,但是没有打印功能,Printing.DataGridViewPrint是使用C#开发,使用了.net3.5,Linq开发的数据库打印控件。功能包括:PrintlevelbylevelorcolumnbycolumnPrintselectedrowsorcolumnsCenterpartitionsonprintedsheetPagenumberingOptimizedDataGridViewTextBoxCellprintingWordwrappingandcellsizeaspresentedintheDataGridViewcontrolImplementthepowerofFramework.NET3.5.Aversionfor.NET2.0isalsoavailable.ProvidescaleresizingtoforcecolumnstofitontoasinglesheetOptionalHeader,FooterandTitleblocksprintin
标签: DataGridViewPrint 打印控件
评分:
更新时间:2013-11-04
浏览次数:5543次
免费
奎宇网站CMS模板(MVC)源码源码描述:基于asp.netmvc的开源网站管理系统这是一套不断完善的开源后台管理系统,你可以免费的使用,而无需付费.本系统基于asp.netmvc技术开发,定期推出新的版本.该源码目前只完成界面部分。用户做后台可以下载借鉴
标签: cms模板
评分:
更新时间:2023-05-23
浏览次数:8051次
免费
自动定时FTP下载器源码网站自动备份专家包括自动定时打包器(AutoRAR)和自动定时FTP下载器(AutoFtp),是一套网站自动维护软件,可用于服务器上对网站定时进行备份,更可以把网站定时备份到其它服务器,无需人工操作,能自动定时执行。如:可以把网站每隔一天(或任意天)自动打包备份到备份服务器上,从而实现全智能化自动式的网站管理。此软件是自动定时FTP下载器注:如果无法运行,请安装.net3.0运行环境
评分:
更新时间:2010-02-26
浏览次数:7322次
免费
设计模式示例源码关乎20种设计模式简单代码,主要是实现方式,讲解比较详细。每一种设计模式都有具体的描述以及详细的实现代码。学习设计模式的朋友可以参考。
评分:
更新时间:2011-05-17
浏览次数:4928次
免费
WCF调用示例源码WCF相关介绍:WindowsCommunicationFoundation(WCF)是由微软发展的一组数据通信的应用程序开发接口可以翻译为Windows通讯接口,它是.NET框架的一部分,由.NETFramework3.0开始引入,与WindowsPresentationFoundation及WindowsWorkflowFoundation并行为新一代Windows操作系统以及WinFX的三个重大应用程序开发类库。程序示例为WCF的简单应用,如何创建合约,如何配置。程序中有详细的说明注释,请下载源码程序学习使用。作者:王磊
评分:
更新时间:2012-04-27
浏览次数:7658次
免费
Lucandra.NET搜索引擎源码源码描述:Lucandra.NET是.NET版的Lucandra(Solandra)Solandra(原名为Lucandra)=Cassandra+LuceneSolandra=Solr+CassandraSolandra是一个实时的分布式搜索引擎,基于ApacheSolr和ApacheCassandra构建.
标签: Lucene 搜索引擎 LucandraNET
评分:
更新时间:2012-09-21
浏览次数:6861次
免费
ScrollableGridView源码功能介绍:实现了GridView的滑动条,直接设置ScrollableGridView控件的高度,超出范围就会实现滑动条注意:开发环境为VisualStudio2010
评分:
更新时间:2013-04-18
浏览次数:3272次
免费
C#超级通信调试工具源码源码描述:软件名称:C#超级通信调试工具功能概要:1.串口,TCP服务端/客户端,UDP服务端/客户端通讯调试2.支持Hex,ASCII,UTF8,GB2312编码调试3.接收数据可通过右键菜单一键计算Hex对应的数值4.字节计算器/检验值计算器(CRC16,自定义多项式CRC16,XOR)5.串口超级终端6.Socket通信监视器7:Ping调试历史更新记录:版本:1.0发布时间:2013年9月16日计划更新:1.支持SQLITE数据库,能保存调试命令及最后使用的通信参数信息等2.调试命令的导入和导出3.可将接收的数据按指定编码格式直接写入指定的文件4.YModem协议的文件传输5.Zmodem协议的文件传输6.数据接收过滤器,转换器7.通信协议编辑器
评分:
更新时间:2013-09-18
浏览次数:11656次
免费
OAuth2通用组件升级源码功能介绍:OAuth2.0同时提供Web,桌面和移动应用程序的支持,并较1.0相比整个授权验证流程更简单更安全。也是新浪微博开放平台未来最主要的用户身份验证和授权方式。升级内容:1:引入了淘宝登陆(不是搞淘客站的,淘小二以没备案为由,不给过,鄙视下);2:优化Tool类的GetJosnValue,更加适应不同不规范的Json截取相应的值;3:搭配了最新版本的CYQ.DataV5数据组件来操作文本数据库。4:源码中增加了Demo示例。注意:开发环境为VisualStudio2005
评分:
更新时间:2012-12-11
浏览次数:4884次
免费