网络爬虫程序源码这是一款用C#编写的网络爬虫主要特性有:可配置:线程数、线程等待时间,连接超时时间,可爬取文件类型和优先级、下载目录等。状态栏显示统计信息:排入队列URL数,已下载文件数,已下载总字节数,CPU使用率和可用内存等。有偏好的爬虫:可针对爬取的资源类型设置不同的优先级。健壮性:十几项URL正规化策略以排除冗余下载、爬虫陷阱避免策略的使用等、多种策略以解析相对路径等。较好的性能:基于正则表达式的页面解析、适度加锁、维持HTTP连接等。今后有空可能加入的特性:新特性介绍爬取文件用BerkeleyDB存储提高性能:常用操作系统不善于处理大量小文件基于URLRanking的优先级队列主题爬虫:机器学习算法对链接与主题相关度进行评估,并按照得出的优先级顺序进行爬取爬虫礼仪遵循爬虫禁止协议、以及避免对服务器资源的过度使用等性能优化用UDP取代封装好的HttpWebRequest/ResponseDNS缓存异步的DNS地址解析硬盘缓存或内存数据库以避免频繁的磁盘寻道分布式爬虫以扩展单机能力(CPU、内存和硬盘访问)
评分: 浏览:25654次
免费
设计模式示例源码关乎20种设计模式简单代码,主要是实现方式,讲解比较详细。每一种设计模式都有具体的描述以及详细的实现代码。学习设计模式的朋友可以参考。
评分: 浏览:4928次
Lucandra.NET搜索引擎源码源码描述:Lucandra.NET是.NET版的Lucandra(Solandra)Solandra(原名为Lucandra)=Cassandra+LuceneSolandra=Solr+CassandraSolandra是一个实时的分布式搜索引擎,基于ApacheSolr和ApacheCassandra构建.
评分: 浏览:6860次
ScrollableGridView源码功能介绍:实现了GridView的滑动条,直接设置ScrollableGridView控件的高度,超出范围就会实现滑动条注意:开发环境为VisualStudio2010
评分: 浏览:3272次
Weback微信互动系统源码源码描述:特别声明:之前有同学说我们的代码很多东西都封装了,其实XCore只是一个底层框架,微信互动平台的全部核心代码都是在Weback中的,我们没有进行过任何封装,XCore提供的只是一些常用类库而已,不过我们考虑到XCore里面的东西太多,放进来既让大家看着头疼又会降低编译速度,所以我们在Weback中就只发布了编译版,但是大家可以到https://github.com/wlniao/xcore获取XCore的源码。Weback是开源的,XCore也是开源的,我们的理念不只是坚持创新,还有乐于分享。Weback从发布至今总共不到一个月的时间,但期间我们已经经历七次更新,每次更新我们都给用户带来了或多或少的惊喜,同时也感谢大家对Weback的支持,然Weback在短短的时间内得到了最快的发展。下一周,我们将带来的是XCore完善的开发教程,分享更多,喜悦更多。Weback是一款免费开源的微信管理系统,它可以协助您管理您的公众微信帐号,通过微信公众互动管理系统的二次开发你可以实现微信和您现有系统的整合,也可以方便的设置自动回复、代码段执行、关键字智能匹配等多
评分: 浏览:22970次
FineUI通用权限管理系统源码源码描述:1,采用第三方UI框架fineui,全部ajax获取数据2,本系统用简单三层架构适用于新手学习3,对权限的操作,控制到单个按钮,一个用户可以属于多个用户组,权限则取所有用户组权限的集合4,支持无限极菜单该源码是从自己的系统上分离出来的,所以只保留了整个权限系统框架,这是通用框架,支持任意二次开发运行代码需要启用MessageQueuing服务。启动方法:在windows控制面版--管理工具--服务--DistributedTransactionCoordinator--属性--启动开发工具:vs2010,sql2005数据库在DB_51aspx文件夹内,附加即可登陆用户名:51aspx;密码:51aspx
评分: 浏览:6912次
*** 元
好看的 winform 菜单权限框架
评分: 浏览:324次
本程序使用C#语言Selenium技术实现百家号自动登录、自动发布视频;可以基本上扩展二次开发;
评分: 浏览:157次
100.00 积分
本课程会结合.NET主流技术进行实战讲解。
评分: 浏览:446次
CodeModel三层代码生成器源码可以连接Sql数据库,生成简单三层结构,可以避免重复代码的编写生成DAL/BLL/Model层,及常用的Add()、Update()、GetList()等方法
评分: 浏览:21748次
狼人开发辅助工具集合有代码生成器(可生成多层数据库和自定义模板,支持Access/Sql)、附加数据库、拾色器、截图工具、字符串批量查找、字符串加密及长度测试等工具打开后自动隐藏到顶部狼人代码生成器的生成原理很简单,也就是利用预先配置好的模板文件,字符串关键字替换。并且我所配置的生成代码是基于工厂模型五层架构设计。主要DLL是LR.Database连接数据库的配置在CodeBuilber.exe.config【同目录下】
评分: 浏览:13568次
NetronLight工作流软件源码一直想学习的工作流的程序分享给大家--有关画工作流流程的入门程序不知道大家是否接触过Netron,我这个附件中的代码是其中的一些核心基础技术,对想做不同于管理类开发的人员,应该是个很好的入门。很小很精的代码,代码没多少行,想提高编程能力的人应该是很有帮助。程序运行的效果图如下:可以随意拖动,连接线也可以自由设定等等,代码是很早就下载了,没再去网上看看有没有更新的,代码不在于多,在于精,功能不在于复杂在于方便地入门学习和提高。
评分: 浏览:17263次
已登录