网络爬虫程序源码这是一款用C#编写的网络爬虫主要特性有:可配置:线程数、线程等待时间,连接超时时间,可爬取文件类型和优先级、下载目录等。状态栏显示统计信息:排入队列URL数,已下载文件数,已下载总字节数,CPU使用率和可用内存等。有偏好的爬虫:可针对爬取的资源类型设置不同的优先级。健壮性:十几项URL正规化策略以排除冗余下载、爬虫陷阱避免策略的使用等、多种策略以解析相对路径等。较好的性能:基于正则表达式的页面解析、适度加锁、维持HTTP连接等。今后有空可能加入的特性:新特性介绍爬取文件用BerkeleyDB存储提高性能:常用操作系统不善于处理大量小文件基于URLRanking的优先级队列主题爬虫:机器学习算法对链接与主题相关度进行评估,并按照得出的优先级顺序进行爬取爬虫礼仪遵循爬虫禁止协议、以及避免对服务器资源的过度使用等性能优化用UDP取代封装好的HttpWebRequest/ResponseDNS缓存异步的DNS地址解析硬盘缓存或内存数据库以避免频繁的磁盘寻道分布式爬虫以扩展单机能力(CPU、内存和硬盘访问)
评分:
更新时间:2010-01-05
浏览次数:25943次
免费
socket测试工具源码功能介绍:1.建立Socket测试服务器端和测试客户端,并向其他端发送或接受报文数据,支持自动发送和自动应答,支持UDP和TCP;2.录入的IP地址和端口等参数数据进行本地XML序列化,下次自动打开。(这个是我需要的,不用每次都录入各种IP地址端口了);3.接受或发送的报文数据,可以直接保存在日志文件当中,便于离线分析。4.服务器端,可以查看接入的各个连接信息;5.支持AscII和16进制的数据发送和接收显示。注意:开发环境为VisualStudio2008
评分:
更新时间:2013-02-04
浏览次数:8974次
免费
NetronLight工作流软件源码一直想学习的工作流的程序分享给大家--有关画工作流流程的入门程序不知道大家是否接触过Netron,我这个附件中的代码是其中的一些核心基础技术,对想做不同于管理类开发的人员,应该是个很好的入门。很小很精的代码,代码没多少行,想提高编程能力的人应该是很有帮助。程序运行的效果图如下:可以随意拖动,连接线也可以自由设定等等,代码是很早就下载了,没再去网上看看有没有更新的,代码不在于多,在于精,功能不在于复杂在于方便地入门学习和提高。
评分:
更新时间:2009-06-03
浏览次数:17319次
免费
WinForm右下角弹框提示源码功能介绍:WinForm下弹框提示信息,可以设置包括上升下降和淡出淡入两种展示方式。标题、内容、实现时间、展示时间、消失时间、展示方式均可自定义注意:开发环境为VisualStudio2008
评分:
更新时间:2013-03-22
浏览次数:7990次
免费
仿Outlook风格界面框架(OSGi.NET插件)源码源码描述:通用WinForm界面框架插件是一个通用的仿Outlook风格的通用界面框架,它为您提供了导航栏和内容区域扩展,支持换肤功能。使用OSGi.NET插件
评分:
更新时间:2013-06-04
浏览次数:10472次
免费
多线程操作实例源码Windows是一个多任务的系统,如果你使用的是windows2000及其以上版本,你可以通过任务管理器查看当前系统运行的程序和进程。什么是进程呢?当一个程序开始运行时,它就是一个进程,进程所指包括运行中的程序和程序所使用到的内存和系统资源。而一个进程又是由多个线程所组成的,线程是程序中的一个执行流,每个线程都有自己的专有寄存器(栈指针、程序计数器等),但代码区是共享的,即不同的线程可以执行同样的函数。多线程是指程序中包含多个执行流,即在一个程序中可以同时运行多个不同的线程来执行不同的任务,也就是说允许单个程序创建多个并行执行的线程来完成各自的任务。浏览器就是一个很好的多线程的例子,在浏览器中你可以在下载JAVA小应用程序或图象的同时滚动页面,在访问新页面时,播放动画和声音,打印文件等。多线程的好处在于可以提高CPU的利用率——任何一个程序员都不希望自己的程序很多时候没事可干,在多线程程序中,一个线程必须等待的时候,CPU可以运行其它的线程而不是等待,这样就大大提高了程序的效率。然而我们也必须认识到线程本身可能影响系统性能的不利方面,以正确使用线程:线程也是程序,所以
评分:
更新时间:2010-03-12
浏览次数:10000次
免费
通用数据库访问类(优化版)源码通用数据库访问类通过配置可实现不同数据库的的访问&def目前实现了SQLserver&defOracle&defDataAccess这可节略大量数据库访问代码&def配合我的代码生活成器(http://win.51aspx.com/CV/ClassGenerate/)将极大节略开发成本-->-->-->-->调用:IDBOperatoridb=DBOperator.GetInstance();stringsqlAccess=@"SELECT*FROMOrders";DataTabledt=idb.ReturnDataTable(sqlAccess);
评分:
更新时间:2010-05-10
浏览次数:8978次
免费
自动定时FTP下载器源码网站自动备份专家包括自动定时打包器(AutoRAR)和自动定时FTP下载器(AutoFtp),是一套网站自动维护软件,可用于服务器上对网站定时进行备份,更可以把网站定时备份到其它服务器,无需人工操作,能自动定时执行。如:可以把网站每隔一天(或任意天)自动打包备份到备份服务器上,从而实现全智能化自动式的网站管理。此软件是自动定时FTP下载器注:如果无法运行,请安装.net3.0运行环境
评分:
更新时间:2010-02-26
浏览次数:7502次
免费
NTKOOffice控件WinForm实例源码功能介绍:本示例展示了NTKOOFFICE文档控件部分高级功能的应用程序、功能很多,有兴趣的可以下载学习。注意:请将里面的ocx注册,并将重新添加ocx控件就不不会有OfficeControlLIB.dll和AxOfficeControlLIB这个错误了。开发环境为VisualStudio2008。
评分:
更新时间:2013-12-13
浏览次数:6873次
免费
C#代码生成器源码可方便生成实体类,数据访问类,数据库文档代码要想有注释需要在数据库里写上说明(表,和字段都可以在属性里写说明,)
评分:
更新时间:2009-12-29
浏览次数:10909次
免费
Printing.DataGridViewPrint源码功能介绍:DataGridView是一个很强大的数据显示控件,但是没有打印功能,Printing.DataGridViewPrint是使用C#开发,使用了.net3.5,Linq开发的数据库打印控件。功能包括:PrintlevelbylevelorcolumnbycolumnPrintselectedrowsorcolumnsCenterpartitionsonprintedsheetPagenumberingOptimizedDataGridViewTextBoxCellprintingWordwrappingandcellsizeaspresentedintheDataGridViewcontrolImplementthepowerofFramework.NET3.5.Aversionfor.NET2.0isalsoavailable.ProvidescaleresizingtoforcecolumnstofitontoasinglesheetOptionalHeader,FooterandTitleblocksprintin
标签: DataGridViewPrint 打印控件
评分:
更新时间:2013-11-04
浏览次数:5612次
免费