cn.wanghaomiao.seimi.core.SeimiQueue Maven / Gradle / Ivy

Go to download

Show more of this group Show more artifacts with this name
Show all versions of SeimiCrawler Show documentation

一个支持分布式的可以高效开发且可以高效运行的爬虫框架。设计思想上融合了spring与scrapy的优点。

There is a newer version: 2.1.4

package cn.wanghaomiao.seimi.core;

import cn.wanghaomiao.seimi.struct.Request;

/**
 * 定义系统队列的基本接口，可自由选择实现，只要符合规范就行。
 * @author 汪浩淼 [email protected]
 * @since 2015/6/2.
 */
public interface SeimiQueue {
    /**
     * 出队一个请求
     * @return
     */
    Request bPop(String crawlerName);

    /**
     * 入队一个请求
     * @param req
     * @return
     */
    boolean push(Request req);

    /**
     * 任务队列剩余长度
     * @return
     */
    int len(String crawlerName);

}