网络爬虫程序源码

网络爬虫程序源码这是一款用C#编写的网络爬虫主要特性有:可配置:线程数、线程等待时间,连接超时时间,可爬取文件类型和优先级、下载目录等。状态栏显示统计信息:排入队列URL数,已下载文件数,已下载总字节数,CPU使用率和可用内存等。有偏好的爬虫:可针对爬取的资源类型设置不同的优先级。健壮性:十几项URL正规化策略以排除冗余下载、爬虫陷阱避免策略的使用等、多种策略以解析相对路径等。较好的性能:基于正则表达式的页面解析、适度加锁、维持HTTP连接等。今后有空可能加入的特性:新特性介绍爬取文件用BerkeleyDB存储提高性能:常用操作系统不善于处理大量小文件基于URLRanking的优先级队列主题爬虫:机器学习算法对链接与主题相关度进行评估,并按照得出的优先级顺序进行爬取爬虫礼仪遵循爬虫禁止协议、以及避免对服务器资源的过度使用等性能优化用UDP取代封装好的HttpWebRequest/ResponseDNS缓存异步的DNS地址解析硬盘缓存或内存数据库以避免频繁的磁盘寻道分布式爬虫以扩展单机能力(CPU、内存和硬盘访问)

标签: 正则 线程 多线程 表达式

评分:

更新时间:2010-01-05

浏览次数:25827次

免费

Bootstrap v2.3.2(附带Demo)源码

Bootstrapv2.3.2(附带Demo演示)源码源码描述:Bootstrap:简洁、直观、强悍的前端开发框架,让web开发更迅速、简单。源码中附带脚手架,基本CSS样式,组件,JavaScript插件的使用说明示例源码的default.aspx就是根据JS插件的轮播功能修改。欢迎感兴趣的用户下载研究

标签: Bootstrap 开发框架 前端开发 脚手架

评分:

更新时间:2013-06-13

浏览次数:20847次

免费

socket测试工具源码

socket测试工具源码功能介绍:1.建立Socket测试服务器端和测试客户端,并向其他端发送或接受报文数据,支持自动发送和自动应答,支持UDP和TCP;2.录入的IP地址和端口等参数数据进行本地XML序列化,下次自动打开。(这个是我需要的,不用每次都录入各种IP地址端口了);3.接受或发送的报文数据,可以直接保存在日志文件当中,便于离线分析。4.服务器端,可以查看接入的各个连接信息;5.支持AscII和16进制的数据发送和接收显示。注意:开发环境为VisualStudio2008

标签: socket socket测试 通信

评分:

更新时间:2013-02-04

浏览次数:8943次

免费

NetronLight工作流软件源码

NetronLight工作流软件源码一直想学习的工作流的程序分享给大家--有关画工作流流程的入门程序不知道大家是否接触过Netron,我这个附件中的代码是其中的一些核心基础技术,对想做不同于管理类开发的人员,应该是个很好的入门。很小很精的代码,代码没多少行,想提高编程能力的人应该是很有帮助。程序运行的效果图如下:可以随意拖动,连接线也可以自由设定等等,代码是很早就下载了,没再去网上看看有没有更新的,代码不在于多,在于精,功能不在于复杂在于方便地入门学习和提高。

标签: 多语言 工作流

评分:

更新时间:2009-06-03

浏览次数:17299次

免费

C#简易蜘蛛爬虫程序源码

C#简易蜘蛛爬虫程序源码功能介绍:用WebRequest、HttpWebResponse来获取页面的HTML代码,并通过正规表达式得到链接和文本内容页面直接复制到项目中即可注意:开发环境为VisualStudio2008

标签: 蜘蛛 爬虫 C#

评分:

更新时间:2012-11-21

浏览次数:11335次

免费

ZXing一二维码编码解码器源码

ZXing一二维码编码解码器源码本源码实现可以在C#中使用的1D/2D编码解码器。条形码的应用已经非常普遍,几乎所有超市里面的商品上面都印有条形码;二维码也开始应用到很多场合,如火车票有二维码识别、网易的首页有二维码图标,用户只需要用手机扫描一下就可以看到手机版网易的网址,免去了输入长串字符的麻烦。条形码的标准:条形码的标准有ENA条形码、UPC条形码、二五条形码、交叉二五条形码、库德巴条形码、三九条形码和128条形码等,而商品上最常使用的就是EAN商品条形码。EAN商品条形码亦称通用商品条形码,由国际物品编码协会制定,通用于世界各地,是目前国际上使用最广泛的一种商品条形码。我国目前在国内推行使用的也是这种商品条形码。EAN商品条形码分为EAN-13(标准版)和EAN-8(缩短版)两种。二维码的编码标准:全球现有的二维码多达200种以上,其中常见的技术标准有PDF417(美系标准),QRCode(日系标准),Code49,Code16K,CodeOne,DM(韩系标准),GM(中国标准),CM(中国标准)等20余种。用得最多的是QRcode。下面借助google的开源项目zxing来实

标签: 一维码 二维码 破解二维码

评分:

更新时间:2013-09-05

浏览次数:8653次

免费

WEB生成条码源码

WEB生成条码源码功能介绍:使用C#开发的条形码生成使用一般处理程序获取条形码图片,需要的可以下载学习。注意:开发环境为VisualStudio2008

标签: C# 生成条码

评分:

更新时间:2012-12-28

浏览次数:8547次

免费

WinForm右下角弹框提示源码

WinForm右下角弹框提示源码功能介绍:WinForm下弹框提示信息,可以设置包括上升下降和淡出淡入两种展示方式。标题、内容、实现时间、展示时间、消失时间、展示方式均可自定义注意:开发环境为VisualStudio2008

标签: 弹出窗口 右下角弹窗

评分:

更新时间:2013-03-22

浏览次数:7988次

免费

仿Outlook风格界面框架(OSGi.NET插件)源码

仿Outlook风格界面框架(OSGi.NET插件)源码源码描述:通用WinForm界面框架插件是一个通用的仿Outlook风格的通用界面框架,它为您提供了导航栏和内容区域扩展,支持换肤功能。使用OSGi.NET插件

标签: 界面框架 仿Outlook OSGi.NET

评分:

更新时间:2013-06-04

浏览次数:10402次

免费

多线程操作实例源码

多线程操作实例源码Windows是一个多任务的系统,如果你使用的是windows2000及其以上版本,你可以通过任务管理器查看当前系统运行的程序和进程。什么是进程呢?当一个程序开始运行时,它就是一个进程,进程所指包括运行中的程序和程序所使用到的内存和系统资源。而一个进程又是由多个线程所组成的,线程是程序中的一个执行流,每个线程都有自己的专有寄存器(栈指针、程序计数器等),但代码区是共享的,即不同的线程可以执行同样的函数。多线程是指程序中包含多个执行流,即在一个程序中可以同时运行多个不同的线程来执行不同的任务,也就是说允许单个程序创建多个并行执行的线程来完成各自的任务。浏览器就是一个很好的多线程的例子,在浏览器中你可以在下载JAVA小应用程序或图象的同时滚动页面,在访问新页面时,播放动画和声音,打印文件等。多线程的好处在于可以提高CPU的利用率——任何一个程序员都不希望自己的程序很多时候没事可干,在多线程程序中,一个线程必须等待的时候,CPU可以运行其它的线程而不是等待,这样就大大提高了程序的效率。然而我们也必须认识到线程本身可能影响系统性能的不利方面,以正确使用线程:线程也是程序,所以

标签: 多线程 实验源码

评分:

更新时间:2010-03-12

浏览次数:9928次

免费

通用数据库访问类(优化版)源码

通用数据库访问类(优化版)源码通用数据库访问类通过配置可实现不同数据库的的访问&def目前实现了SQLserver&defOracle&defDataAccess这可节略大量数据库访问代码&def配合我的代码生活成器(http://win.51aspx.com/CV/ClassGenerate/)将极大节略开发成本-->-->-->-->调用:IDBOperatoridb=DBOperator.GetInstance();stringsqlAccess=@"SELECT*FROMOrders";DataTabledt=idb.ReturnDataTable(sqlAccess);

标签: 学习源码 数据库 通用 访问类

评分:

更新时间:2010-05-10

浏览次数:8974次

免费

C#仿QQ皮肤系源码

C#仿QQ皮肤系源码本人打算把这套皮肤打造好,希望大家支持啊!!!技术点并不多主要是GDI+还有不少windows的API,有些我也记不住,还是看着API文档来的,呵呵

标签: 右键菜单 QQ皮肤 多节点

评分:

更新时间:2010-03-17

浏览次数:15749次

免费