gaojingsong
- 浏览: 1124910 次
- 性别:
- 来自: 深圳
-
文章分类
- 全部博客 (1027)
- 拼接字符串小技巧 (1)
- java 模块知识小结 (23)
- tools (14)
- android (20)
- extjs必学必会 (1)
- nginx (4)
- 中间件 (9)
- java中间件 (6)
- linux (47)
- 23种设计模式 (15)
- 数据库知识 (15)
- mycat中间件 (80)
- 华为框架--jalor5 (2)
- 数据库-----db2 (24)
- 数据库-----oracle (47)
- 数据库-----mysql (82)
- 大数据 (16)
- 大数据--hbase (4)
- 大数据--storm (9)
- 大数据--hive (5)
- 大数据--hadoop (11)
- 大数据--elasticsearch (16)
- 大数据--zookeeper (13)
- 大数据--redis (17)
- 大数据--kafka (26)
- 大数据--mongodb (9)
- 大数据之flume (4)
- 大数据--sqoop (3)
- 大数据--spark (7)
- 大数据--memcached (1)
- 大数据------impala (1)
- 大数据--avro (1)
- 大数据--apache pig (1)
- 大数据--logstash (1)
- 大数据--kibana 简介 (1)
- 大数据之impala (1)
- 大数据之druid-io介绍 (1)
- 大数据之hue (1)
- 大数据之ambari (1)
- 大数据之presto (1)
- 大数据之oozie (1)
- 编程语言之python (4)
- 编程语言--php (5)
- 编程语言--scala (2)
- 编程语言--java之mybatis (26)
- 编程语言之ruby (2)
- 编程语言之c (2)
- 编程语言--java之spring (7)
- 编程语言--java之struts (1)
- 编程语言java hibernate (6)
- 编程语言之kotlin (1)
- 编程语言--java之网络编程 (3)
- 编程语言之go (3)
- 编程语言之erlang (1)
- erlang语言 (1)
- 算法研究--查找 (8)
- 算法研究--排序 (10)
- 网络协议 (47)
- 版本控制工具 (6)
- java基础知识 (20)
- 负载均衡 (14)
- hessian (1)
- 阿里之rocketmq (5)
- 阿里之canal (2)
- 阿里之tddl (1)
- 阿里之drds (1)
- 阿里dubbo框架 (2)
- 阿里jstorm框架 (3)
- 阿里之yugong (2)
- 阿里之druid框架 (3)
- 阿里之cobar (1)
- docker (17)
- vpn虚拟专网 (1)
- jfinal (1)
- java语言基础 (23)
- haproxy简介 (5)
- netty介绍 (1)
- squid介绍 (1)
- zeromq (1)
- jvm深入研究 (4)
- kerberos (1)
- shiro (1)
- r语言 (2)
- cas (2)
- spring security (1)
- 虚拟化技术 (10)
- python (2)
- wireshark (1)
- java_web 开发 (6)
- i/o模型 (1)
- apache mina (1)
- apache solr (2)
- apache nutch (1)
- apache nifi (1)
- apache phoenix (1)
- apache thrift (1)
- apache --groovy (2)
- apache tika (1)
- apache jmeter (1)
- apache 之couchdb (1)
- apache之xml-rpc (1)
- 读书笔记 (4)
- 统计分析系统--sas (1)
- java applet (1)
- java之xstream (1)
- java之freemarker (1)
- java 之webwork (1)
- java之velocity 介绍 (1)
- java之excel的导入(出) (4)
- node.js (1)
- 信息安全 (2)
- flex 编程 (1)
- 大数据--alluxio (1)
- jenkins (1)
- xdoclet (1)
- play 框架 (1)
- esb (2)
- java之sitemesh (1)
- java 之tiles (1)
- java之工作流系统 (5)
- apache之tajo (1)
- 搜索引擎知识 (1)
- apache 之chukwa (1)
- apache 之 activemq (2)
- apache 之accumulo (1)
- apache之lucene (2)
- apache s4 (2)
- apache之tez (1)
- apache之tomcat (3)
- apache kylin (1)
- apache 之ivy (1)
- apache之mesos (1)
- zenoss (1)
- 阿里妈妈-adhoc之mdrill (1)
- 分布式调用 (5)
- rpc之zeroc ice (3)
- java之rmi (1)
- rpc框架之apache-xml (1)
- 人工智能系统 (10)
- 构建工具maven (6)
- 持续集成 (1)
- 缓存技术 (8)
- 数据库之sequoiadb (1)
- 数据分析 (2)
- 自然语言处理 (10)
- 数据库----mariadb (1)
- 压缩算法 (2)
- 消息队列之lmax disruptor (1)
- 分布式文件系统dfs (1)
- kubernetes (1)
- 自动化部署框架 (2)
- 分布式文件系统tachyon (1)
- opencv (1)
- 数据库--db4o (1)
- 任务调度--azkaban (1)
- 消息队列 (3)
- apache 之 flink (1)
- 消息队列，stormmq (1)
- 图形数据库 (1)
- zuul (1)
- 网站加速 (1)
- cdn (1)
- 数据库之postgresql (2)
- cqrs 命令查询职责分离模式 (1)
- coreos--etcd (1)
- 工作流引擎--snaker (1)
- hpcc (1)
- 数据库之greenplum (1)
- 监控系统 (8)
- neo4j (1)
- apache之calcite (1)
- 大数据分享 (4)
- 人工智能分享 (10)
- apache 之camel (1)
- apache之 crunch (1)
- 分布式缓存 (7)
- apache 之etch (1)
- apache之 karaf (1)
- apache 之ode (1)
- eclipse安装插件 (1)
- apache之qpid (1)
- apache 之ranger (1)
- apache 之flink (1)
- apache 之lens (1)
- apache之zeppelin (1)
- apache 之mahout (1)
- apache之 samza (1)
- apache 之vcl (1)
- apache 之synapse (1)
- apache 之orc (1)
- apache之tapestry (1)
- 射频识别 (2)
- java框架之spark (1)
- web服务器 tengine (1)
- web服务器之kangle (1)
- 全文检索 (1)
- java开发框架之ninja (1)
- spring-boot (2)
- 操作系统底层 (1)
- java之web框架vert.x (1)
- java之nio框架 (1)
- corba (2)
- 敏感词过滤 (1)
- 前端语言 (18)
- 事处理务 (2)
- 网络爬虫 (1)
- 复杂sql案例 (3)
- 经典理论 (1)
- 容器集群管理系统 (1)
- 代理服务器 (1)
- 微服务框架 (8)
- 编程语言--java之web (4)
- 存储知识 (2)
- 报表技术 (12)
- tomcat专题研究 (7)
- 网络知识 (2)
- web服务器 之weblogic (2)
- 编程语言--java之email (5)
- apache 之velocity (1)
- java之javassist (1)
- java之工作流 (3)
- java之undertow (1)
- java之grizzly (1)
- java之spray (1)
- java之验证码 (8)
- java之序列化 (1)
- java 之restful (1)
- xml解析 (5)
- rpc框架之motan (1)
- 数据库之arangodb (1)
- 【lanproxy】 (1)
- 【rpc框架之rpcx】 (1)
- rpc框架之grpc (1)
- javaweb之g4studio (1)
- 区块链 (1)
- sphinx (1)
- 跟踪系统 (1)
- 多租户 (1)
- 大数据之数据采集应用 (2)
- java 之文件操作 (10)
- 软件测试 (1)
- apache 之distributedlog (1)
- apache 之 ignite (1)
- 分布式配置中心 (1)
- 【saas 介绍】 (1)
- 【数据库之arangodb】 (1)
- 【数据处理之etl】 (1)
- undertow (1)
- jax-rs (1)
- 【百度云消息推送】 (1)
- ios (7)
- kannel (1)
- servicecomb (1)
- 微信 (2)
- 规则引擎 (1)
- 短地址 (1)
- exam (1)
- fastdfs (1)
- arthas (0)
- 阿里之arthas (1)
- 阿里之seata (1)
- 微服务 (1)
- 分布式事务 (1)
- flink (2)
- apache-ranger (1)
- azkaban (1)
- intellij idea (1)
- apache dolphinscheduler (3)
- pmp项目管理 (1)
- sentry介绍 (1)
- 堡垒机 (1)
- 对象存储服务简介 (1)
- prometheus (1)
- hazelcast (1)
- dolphinscheduler (1)
- pmp (1)
- 数据库之clickhouse (2)
- telegraf (1)
- apache之dolphinscheduler (1)
社区版块
- ( 4)
- ( 0)
- ( 80)
最新评论
-
gaojingsong：
jstl1point0 写道高级版本jdk可以直接安装不用配置 ...
【win7配置jdk 环境变量】 -
jstl1point0：
高级版本jdk可以直接安装不用配置了
【win7配置jdk 环境变量】 -
hdd901002：
光说明错误在哪里有什么用，解决方法啊。。。我也碰到了，一条jo ...
mycat源码解读--错误之【can't find table define in schema 】 -
masuweng：
【java之图片水印】 -
masuweng：
【java之多线程下载文件实现】
文章列表
- 博客分类：
- 网络爬虫
网络爬虫的基本工作流程如下：
1.首先选取一部分精心挑选的种子url；
2.将这些url放入待抓取url队列；
3.从待抓取url队列中取出待抓取在url，解析dns，并且得到主机的ip，并将url对应的网页下载下来，存储进已下载网页库中。此外，将这些url放进已抓取url队列。
4.分析已抓取url队列中的url，分析其中的其他url，并且将url放入待抓取url队列，从而进入下一个循环。
互联网的所有页面分为五个部分：
1.已下载未过期网页
2.已下载已过期网页：抓取到的网页实际上是互联网内容的一个镜像与备份，互联网是动态变化的，一部分互联网上的内容已 ...
- 2017-07-08 21:34
- 浏览 1131
- 分类:开源软件