Welcome to weblib’s documentation!

Weblib provides tools to solve typical tasks in web scraping:

• processing HTML
• handling text encodings
• controling repeating and parallel tasks
• parsing RSS/ATOM feeds
• preparing data for HTTP requests
• working with DOM tree
• working with text and numeral data
• list of common user agents
• cross-platform file locking
• operations with files and directories

Installation

pip install -U weblib

Testing

Install tox package: pip install tox Run the command: tox

API

• weblib.content
• weblib.control
• weblib.debug
• weblib.encoding
• weblib.feed
• weblib.files
• weblib.html
• weblib.http
• weblib.lock
• weblib.logs
• weblib.etree
• weblib.metric
• weblib.parser
• weblib.progress
• weblib.pwork
• weblib.rex
• weblib.russian
• weblib.system
• weblib.text
• weblib.user_agent
• weblib.watch
• weblib.work

Indices and tables

• Index
• Module Index
• Search Page