File: //lib64/python3.8/urllib/__pycache__/robotparser.cpython-38.opt-2.pyc
U
e5dÐ$ ã @ sX d dl Z d dlZd dlZdgZe dd¡ZG dd„ dƒZG dd„ dƒZG dd „ d ƒZ dS )
é NÚRobotFileParserÚ RequestRatezrequests secondsc @ sn e Zd Zddd„Zdd„ Zdd„ Zdd „ Zd
d „ Zd d
„ Zdd„ Z dd„ Z
dd„ Z dd„ Z dd„ Z
dd„ ZdS ) r Ú c C s2 g | _ g | _d | _d| _d| _| |¡ d| _d S )NFr )ÚentriesÚsitemapsÚ
default_entryÚ disallow_allÚ allow_allÚset_urlÚ last_checked©ÚselfÚurl© r ú*/usr/lib64/python3.8/urllib/robotparser.pyÚ__init__ s
zRobotFileParser.__init__c C s | j S ©N)r ©r
r r r Úmtime% s zRobotFileParser.mtimec C s dd l }| ¡ | _d S )Nr )Útimer )r
r r r r Úmodified. s zRobotFileParser.modifiedc C s& || _ tj |¡dd… \| _| _d S )Né é )r ÚurllibÚparseÚurlparseZhostÚpathr r r r r
6 s zRobotFileParser.set_urlc
C s† zt j | j¡}W nR t jjk
rd } z0|jdkr:d| _n|jdkrT|jdk rTd| _W 5 d }~X Y n X | ¡ }|
| d¡ ¡ ¡ d S )N)i‘ i“ Ti iô zutf-8)
r ZrequestZurlopenr ÚerrorZ HTTPErrorÚcoder r Úreadr ÚdecodeÚ
splitlines)r
ÚfÚerrÚrawr r r r ; s
zRobotFileParser.readc C s, d|j kr | jd kr(|| _n | j |¡ d S ©NÚ*)Ú
useragentsr r Úappend)r
Úentryr r r Ú
_add_entryH s
zRobotFileParser._add_entryc C sP d}t ƒ }| ¡ |D ] }|sP|dkr4t ƒ }d}n |dkrP| |¡ t ƒ }d}| d¡}|dkrn|d |… }| ¡ }|s|q| dd¡}t|ƒdkr|d ¡ ¡ |d< tj
|d ¡ ¡|d< |d dkrú|dkrä| |¡ t ƒ }|j |d ¡ d}q|d dkr.|dkr6|j
t|d dƒ¡ d}q|d d krb|dkr6|j
t|d d
ƒ¡ d}q|d d kr |dkr6|d ¡ ¡ ršt|d ƒ|_d}q|d d kr|dkr6|d d
¡}t|ƒdkr|d ¡ ¡ r|d ¡ ¡ rtt|d ƒt|d ƒƒ|_d}q|d dkr| j |d ¡ q|dkrL| |¡ d S )Nr r é ú#ú:z
user-agentZdisallowFZallowTz crawl-delayz request-rateú/Zsitemap)ÚEntryr r* ÚfindÚstripÚsplitÚlenÚlowerr r Úunquoter' r( Ú rulelinesÚRuleLineÚisdigitÚintÚdelayr Úreq_rater )r
ÚlinesÚstater) ÚlineÚiZnumbersr r r r Q sj
ÿ
zRobotFileParser.parsec C s | j r
dS | jrdS | js dS tj tj |¡¡}tj dd|j|j |j
|j f¡}tj |¡}|sfd}| j
D ] }| |¡rl| |¡ S ql| jrœ| j |¡S dS )NFTr r. )r r r r r r r5 Ú
urlunparser ZparamsZqueryZfragmentÚquoter Ú
applies_toÚ allowancer )r
Ú useragentr Z
parsed_urlr) r r r Ú can_fetchš s* ÿ
zRobotFileParser.can_fetchc C s> | ¡ s d S | jD ]}| |¡r|j S q| jr:| jjS d S r )r r rB r: r ©r
rD r) r r r Ú crawl_delay· s
zRobotFileParser.crawl_delayc C s> | ¡ s d S | jD ]}| |¡r|j S q| jr:| jjS d S r )r r rB r; r rF r r r Ú request_rateÁ s
z RobotFileParser.request_ratec C s | j s
d S | j S r )r r r r r Ú site_mapsË s zRobotFileParser.site_mapsc C s, | j }| jd k r || jg }d tt|ƒ¡S )Nz
)r r ÚjoinÚmapÚstr)r
r r r r Ú__str__Ð s
zRobotFileParser.__str__N)r )Ú__name__Ú
__module__Ú __qualname__r r r r
r r* r rE rG rH rI rM r r r r r s
I
c @ s$ e Zd Zdd„ Zdd„ Zdd„ ZdS )r7 c C s< |dkr|sd}t j t j |¡¡}t j |¡| _|| _d S )Nr T)r r r@ r rA r rC )r
r rC r r r r Ú s
zRuleLine.__init__c C s | j dkp| | j ¡S r% )r Ú
startswith)r
Úfilenamer r r rB â s zRuleLine.applies_toc C s | j r
dndd | j S )NZAllowZDisallowz: )rC r r r r r rM å s zRuleLine.__str__N)rN rO rP r rB rM r r r r r7 × s r7 c @ s, e Zd Zdd„ Zdd„ Zdd„ Zdd„ Zd S )
r/ c C s g | _ g | _d | _d | _d S r )r' r6 r: r; r r r r r ë s zEntry.__init__c C s‚ g }| j D ]}| d|› ¡ q
| jd k r<| d| j› ¡ | jd k rf| j}| d|j› d|j› ¡ | tt| j ƒ¡ d
|¡S )Nz User-agent: z
Crawl-delay: zRequest-rate: r. Ú
) r' r( r: r; ZrequestsZsecondsÚextendrK rL r6 rJ )r
ZretÚagentZrater r r rM ñ s
z
Entry.__str__c C sF | d¡d ¡ }| jD ](}|dkr* dS | ¡ }||kr dS qdS )Nr. r r& TF)r2 r4 r' )r
rD rU r r r rB ý s
zEntry.applies_toc C s$ | j D ]}| |¡r|j S qdS )NT)r6 rB rC )r
rR r> r r r rC
s
zEntry.allowanceN)rN rO rP r rM rB rC r r r r r/ é s
r/ )
Ú collectionsZ urllib.parser Zurllib.requestÚ__all__Ú
namedtupler r r7 r/ r r r r Ú<module>
s B