ler.1.8.2.source-code.crawler.properties Maven / Gradle / Ivy

Go to download
Show more of this group Show more artifacts with this name
Show all versions of Crawler Show documentation
There is a newer version: 1.8.6
############?????Ǻ??Դ?Сд?????в???####################################
#????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
#?Ƿ?????????IP??Ĭ???ǲ????????? ?Ǳ???
isProxyIP=true

#?Ƿ???Ѵ???IP??true????ѵ?IP???ٶȲ????롣false???Լ?????IP??????????????IP???ͱ????Ƿ???? Ĭ???????true
isFreeIP=false

#??????Ѵ???IP
#??????Ѵ???IP?????????IP???ı???ַ ???? Ĭ??????Ŀͬ??
#oneselfProxyIPText=E:\\IDECode\\Crawler\\text\\ip.txt
#???????ip?????ı???ַ???????????ip?ӿڵ?ַ?????Ҵ???ip?ӿڷ??ص???????һ??ip:?˿?ռһ??
ProxyIpAPI=http://tvp.daxiangdaili.com/ip/?tid=556524707567349&num=100&delay=3&category=2&filter=on
#????Ǵ???ip?ӿڵ?ַ????ô???ص?????֮??Ҳʲô?ָ???ָĬ???ǻ??з???????:(123.78.98.23:34,123.12.34.23:12)
apiSplit=\\r\\n

#????Ѵ???IP
#???????ٸ???Ѵ???IP??ַ??Ĭ????500 ?Ǳ???
#ProxyAllNum=500
#???????ٸ?????ٶȵ????IP??Ĭ????100 ?Ǳ???
#MaxProxyIP=100

#???汣????ҳ???ļ???·????????  Ĭ????c:\\crawler
CrawlerHtmlDir=D:\\juzimi\\1

#??Ҫ??????ַ?????? Ĭ???ǣ?http://www.baidu.com
URL=http://www.juzimi.com/ju/

#???ٶ??ٺ???ץһ?? Ĭ??0?? ????
#minTime=1000

#????ٺ???ץһ?? Ĭ??0?? ????
#maxTime=3000

#??????ַ??ǰ׺ ?Ǳ??? Ĭ???ǿ?
#URLPrefix=

#??????ַ?ĺ?׺ ?Ǳ??? Ĭ???ǿ?
#URLSuffix=

#??????ַ??ʼҳ ?Ǳ??? Ĭ????0
startIndex=1

#??????ַ????ҳ ?Ǳ??? Ĭ????0
endIndex=4000000

#????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
#####################################################################################
#??д???濪ʼҳһ??Ҫ??д???????ҳ??
#eg??Ҫ??ȡ??ַ?? http://www.tyoui.cn/zw/day1.jsp ?? http://www.tyoui.cn/zw/day100.jsp
#isProxyIP=true //??Ҫ????
#isFreeIP=false //??Ҫ??Ѵ???ip
#ProxyIpAPI=http://tvp.daxiangdaili.com/ip/?tid=556524707567349&num=20&delay=3&category=2&filter=on //????ip?ӿ?API
#apiSplit=\n //ip֮???ǻ??зֿ???????ǻ??п??Բ?????д
#CrawlerHtmlDir=D:\\ //??????d??
#URL=http://www.tyoui.cn/zw/ //??ַ?ĸ?Ŀ¼
#minTime=1000 //????1??ץһ??
#maxTime=2000 //?2??ץһ??
#URLPrefix=day //??ַ??ǰ׺
#URLSuffix=.jsp //??ַ?ĺ?׺
#startIndex=1 //??ַ?Ŀ?ʼҳ
#endIndex=100 //??ַ?Ľ???ҳ
######################################################################################