集合类与多线程
非线程安全的java.util.ArrayList类Main.java1234567891011import java.util.ArrayList;import java.util.List;public class Main { public static void main(S
...
【图解Java多线程设计模式】Immutable模式
Posted on
|
In
Multithread
Immutable模式中存在着确保实例状态不发生改变的类（immutable类）。在访问这些实例时并不需要执行耗时的互斥处理，能提高程序性能。
示例Person.java123456789101112131415161718192021public class Person { pr
...
计数信号量
Posted on
|
In
Multithread
Semaphore的acquire方法用于确保存在可用资源。当存在可用资源时，线程会立即从acquire方法返回，同时信号量内部的资源个数会减1.如无可用资源，线程则阻塞在acquire方法内，直至出现可用资源。Semaphore的release方法用于释放资源。释放资源后，信号量内部的资源个数会增
...
【图解Java多线程设计模式】Single Threaded Execution模式
Posted on
|
In
Multithread
所谓Single Threaded Execution模式，意即“以一个线程执行”。该模式用于设置限制，以确保同一时间内只能让一个线程执行处理。
示例模拟三个人频繁地通过一个只允许一个人经过的门的情形。当人们通过门的时候，统计人数便会递增。另外，还会记录通行者的“姓名与出生地”。
Main.java
...
线程的协作
Posted on
|
In
Multithread
等待队列所有实例都拥有一个等待队列，它是在实例的wait方法执行后停止操作的线程的队列。当下列任意一种情况发生时，线程便会退出等待队列。
有其他线程的notify方法来唤醒线程
有其他线程的notifyAll方法来唤醒线程
有其他线程的interrupt方法来唤醒线程
wait方法超时
wait
...
线程的互斥
Posted on
|
In
Multithread
Java使用关键字synchronized来执行线程的互斥处理。
synchronized方法如果声明一个方法时，在前面加上关键字synchronized，那么这个方法就只能由一个线程运行。这种方法称为synchronized方法，有时也成为同步方法。
Bank.java12345678910111
...
线程的启动
Posted on
|
In
Multithread
利用Thread类的子类创建Thread类的子类，创建子类的实例，调用start方法。
PrintThread.java12345678910111213public class PrintThread extends Thread { private String message;
...
Downloader Middleware Demo
Posted on
|
In
Web Crawler
核心方法每个Downloader Middleware都定义了一个或多个方法的类，核心的方法有如下三个。
process_request(request, spider)
process_response(request, response, spider)
process_exception(r
...
Scrapy
Posted on
|
In
Web Crawler
架构
Engine: 引擎，处理整个系统的数据流处理、触发事务，是整个框架的核心。
Item: 项目，它定义了爬取结果的数据结构，爬取的数据会被赋值成该Item对象。
Scheduler: 调度器，接受引擎发过来的请求并将其加入队列中，在引擎再次请求的时候将请求提供给引擎。
Downloader:
...
Pyspider
Posted on
|
In
Web Crawler
pyspider的架构主要分为Scheduler(调度器)、Fetcher(抓取器)、Processer(处理器)三个部分，整个爬取过程受到Monitor(监控器)的监控，抓取的结果被Result Worker(结果处理器)处理.
Scheduler发起任务调度，Fetcher负责抓取网页内容，Pr
...