网络爬虫程序源码

网络爬虫程序源码这是一款用C#编写的网络爬虫主要特性有:可配置:线程数、线程等待时间,连接超时时间,可爬取文件类型和优先级、下载目录等。状态栏显示统计信息:排入队列URL数,已下载文件数,已下载总字节数,CPU使用率和可用内存等。有偏好的爬虫:可针对爬取的资源类型设置不同的优先级。健壮性:十几项URL正规化策略以排除冗余下载、爬虫陷阱避免策略的使用等、多种策略以解析相对路径等。较好的性能:基于正则表达式的页面解析、适度加锁、维持HTTP连接等。今后有空可能加入的特性:新特性介绍爬取文件用BerkeleyDB存储提高性能:常用操作系统不善于处理大量小文件基于URLRanking的优先级队列主题爬虫:机器学习算法对链接与主题相关度进行评估,并按照得出的优先级顺序进行爬取爬虫礼仪遵循爬虫禁止协议、以及避免对服务器资源的过度使用等性能优化用UDP取代封装好的HttpWebRequest/ResponseDNS缓存异步的DNS地址解析硬盘缓存或内存数据库以避免频繁的磁盘寻道分布式爬虫以扩展单机能力(CPU、内存和硬盘访问)

标签: 正则 线程 多线程 表达式

评分:

更新时间:2010-01-05

浏览次数:25945次

免费

zhuimeng学生管理系统源码

zhuimeng学生管理系统源码三层架构做得学生管理系统(.net)1.客户端版本,非常值得学习,基本上是企业标准版本特色1,才用三层架构,从DAL数据访问层,到BLL的业务逻辑层,到UI层,就算换不同的数据库,只要稍微做一下底层那些代码修改,接口保持不变,就马上可以适用(非常适合新手学习)2,才用角色管理登陆,管理员和学生登陆,不同的角色能享有不同的功能&def3,UI中美化了一下哈,算还行吧1.show//由于是使用对话框的形式出现,如果返回的话马上对出,只有正确的时候才返回//对话框相对于做一次,SHOW相当于无限循环,只有CLOSE才关确记,不能让BUTTON的DIALOGRESULT的属性有返回值,否则就直接管啦2,焦点问题,LABLE没有焦点,因此不用设置TABINDEX但是像BUTTON或者是TEXTBOX这些就有焦点,因此设置TABINDEX非常重要开始程序会把焦点自动加载到TABIDNEX最前并且有焦点的控件上,FOCUS一般没有用,FOCUS一般使用用户出错时,将用户从新聚焦3,代码重用技巧一用封装,二是放在公共地方,三是如果封装后也能方在公共地方4.列图视表图片I

标签: 管理系统 角色管理 三层架构 学习源码

评分:

更新时间:2010-05-07

浏览次数:9797次

免费

C#WinForm串口调试工具源码

C#WinForm串口调试工具源码功能介绍:运行本程序,在“发送数据”文本框中输入要传送的数据,单击【发送】按钮,将传送的数据发送到所选择的端口号中主要代码:privatevoidbtnOpenPort_Click(objectsender,EventArgse){if(!openState){openState=true;//已经打开btnOpenPort.Text="关闭串口";this.pictureBox.Image=global::SerialDemo.Properties.Resources.btnOk2;strPortName=cmbPort.Text;strBaudRate=cmbBaudRate.Text;strDataBits=cmbDataBits.Text;strStopBits=cmbStopBit.Text;sp.PortName=strPortName;sp.BaudRate=int.Parse(strBaudRate);sp.DataBits=int.Parse(strDataBits);sp.StopBits=(StopBits)int.Parse(s

标签: 串口调试工具 数据传输 信息交流 实时消息

评分:

更新时间:2012-08-21

浏览次数:12186次

免费

socket测试工具源码

socket测试工具源码功能介绍:1.建立Socket测试服务器端和测试客户端,并向其他端发送或接受报文数据,支持自动发送和自动应答,支持UDP和TCP;2.录入的IP地址和端口等参数数据进行本地XML序列化,下次自动打开。(这个是我需要的,不用每次都录入各种IP地址端口了);3.接受或发送的报文数据,可以直接保存在日志文件当中,便于离线分析。4.服务器端,可以查看接入的各个连接信息;5.支持AscII和16进制的数据发送和接收显示。注意:开发环境为VisualStudio2008

标签: socket socket测试 通信

评分:

更新时间:2013-02-04

浏览次数:8974次

免费

TAOBEEFTP源码

taobeeFTP源码开发工具:VisualStudio.NET2008项目描述:ftp传输协议客户端包括功能:记录服务器,连接显示,上传下载文件,传输队列,传输进度显示,批量传输,批量下载,树形结构显示本地和服务器文件基本操作等功能,具有现如今主流leapftpcutftp等ftp软件具有的大部分功能。技术应用:Socket编程文件流读写TCPFTP协议

标签: socket FTP工具 异步编程

评分:

更新时间:2022-10-31

浏览次数:9730次

免费

NetronLight工作流软件源码

NetronLight工作流软件源码一直想学习的工作流的程序分享给大家--有关画工作流流程的入门程序不知道大家是否接触过Netron,我这个附件中的代码是其中的一些核心基础技术,对想做不同于管理类开发的人员,应该是个很好的入门。很小很精的代码,代码没多少行,想提高编程能力的人应该是很有帮助。程序运行的效果图如下:可以随意拖动,连接线也可以自由设定等等,代码是很早就下载了,没再去网上看看有没有更新的,代码不在于多,在于精,功能不在于复杂在于方便地入门学习和提高。

标签: 多语言 工作流

评分:

更新时间:2009-06-03

浏览次数:17319次

免费

GMap.NET控件实例源码

GMap.NET控件实例源码视频演示地址:http://bbs.51aspx.com/showtopic-44811.htmlGMap.NET是一个强大、免费、跨平台、开源的.NET控件,它在WindowsForms和WPF环境中能够通过Google,Yahoo!,Bing,OpenStreetMap,ArcGIS,Pergo,SigPac等实现寻找路径、地理编码以及地图展示功能,并支持缓存和运行在Mobile环境中。GMap.NET是一个开源的GEO地图定位和跟踪程序。就像谷歌地图、雅虎地图一样,可以自动计算两地的距离,定位经纬度,与Google地图不同的是,该项目是建立在C#语言WinForm基础上的。可以对地图放大缩小,进行城市标记等。

标签: Google map 地图定位

评分:

更新时间:2013-01-30

浏览次数:14938次

免费

简单即时通信系统(学习版)源码

简单即时通信系统(学习版)源码欢迎大家使用该简单的通信软件,下边简单介绍下下:适用范围:非常适合初学者学习使用。(Socket编程)实现的功能:(1)用户注册(2)添加好友(3)跟好友聊天(4)在线用户管理(5)服务器日志管理功能扩展:本程序很容易扩展为可进行文件传输和基于广域网的IM软件。(由于本人最近比较忙,暂不进行扩展)运行条件:visualstadioteamsuit2008及以上版本,并且需要安装其附带的sqlserverexpress。(这是一定的噢,不然运行不起来的)本系统亮点:1.:发送消息=控制信息+数据信息(意思是没个发送的消息都包含两部分信息,一是控制信息,方便接收方根据该控制信息作出相应的处理,后边才是数据信息,是用户要接收的真正的信息)2:发送和接收消息都封装为制定的类3:所有的消息类型都放到一个枚举类型里边,方便扩展其他信息:1..使用本软件的平台:.netFramework2.0版本或以上2..本软件使用TCP协议进行通信3.基于服务器消息转发模式

标签: IM QQ 即时通信 C# Socket编程

评分:

更新时间:2010-06-02

浏览次数:13250次

免费

WPF多媒体视频播放器

WPF多媒体视频播放器研究目标:实现多媒体视频播放器的设计与开发研究内容:1.界面设计:实现简约友好、美丽大方的用户界面设计。2.播放功能模块:实现对WAV、MID、MP3、WMV、AVI等格式的多媒体文件的播放功能设计。3.文件加载系统:实现播放列表加载多个多媒体文件、自定义播放顺序等功能的设计。4.文件播放系统:实现连续播放、记忆播放、播放/暂停、停止等功能的设计。研究的基本思路和方法、技术路线、实验方案及可行性分析基本思路和方法:1.运用UML(UnifiedModelingLanguage:统一建模语言)对多媒体视频播放器系统进行功能需求分析和设计。2.使用XAML标记语言设计构造简约友好、美丽大方的用户界面。3.使用WPF技术实现多媒体视频播放器的播放功能模块、文件加载系统、文件播放系统等功能的设计。4.通过课题的研究,实现多媒体视频播放器系统的设计,以及撰写课程设计论文。

标签: WPF 视频播放器

评分:

更新时间:2012-03-29

浏览次数:10570次

免费

WinForm右下角弹框提示源码

WinForm右下角弹框提示源码功能介绍:WinForm下弹框提示信息,可以设置包括上升下降和淡出淡入两种展示方式。标题、内容、实现时间、展示时间、消失时间、展示方式均可自定义注意:开发环境为VisualStudio2008

标签: 弹出窗口 右下角弹窗

评分:

更新时间:2013-03-22

浏览次数:7992次

免费

仿Outlook风格界面框架(OSGi.NET插件)源码

仿Outlook风格界面框架(OSGi.NET插件)源码源码描述:通用WinForm界面框架插件是一个通用的仿Outlook风格的通用界面框架,它为您提供了导航栏和内容区域扩展,支持换肤功能。使用OSGi.NET插件

标签: 界面框架 仿Outlook OSGi.NET

评分:

更新时间:2013-06-04

浏览次数:10481次

免费

POST模拟登录源码

POST模拟登录源码功能介绍:使用HttpWebRequest、HttpWebResponse模拟登录【宁波市医疗信息公共服务平台】。core.cs文件中有验证码与登录框架地址,有兴趣的可以下载参考。注意:开发环境为VisualStudio2008

标签: 模拟登录 POST HttpWebRequest HttpWebResponse

评分:

更新时间:2013-03-18

浏览次数:9450次

免费