 jherve
|
330ab7f8b9
Move storage into sqlite database to main async function
|
1 vuosi sitten |
|
jherve
|
6d888a1fa7
Add sqlite storage
|
1 vuosi sitten |
|
jherve
|
c9878f387b
Move collection argument all the way back to main loop
|
1 vuosi sitten |
|
jherve
|
82c133c49f
Some reformat
|
1 vuosi sitten |
|
jherve
|
e9ec5c4e31
Add collection notion
|
1 vuosi sitten |
|
jherve
|
bd172a3234
Add top_articles / main_article attributes
|
1 vuosi sitten |
|
jherve
|
b49fb36112
Add some abstract classes
|
1 vuosi sitten |
|
jherve
|
86eecdbdb7
More refactor
|
1 vuosi sitten |
|
jherve
|
a9bb24bd89
Add InternetArchiveSnapshot class
|
1 vuosi sitten |
|
jherve
|
23003f5f97
Review renaming
|
1 vuosi sitten |
|
jherve
|
b738bb87ce
fix unused imports
|
1 vuosi sitten |
|
jherve
|
67a2f03714
Some renaming
|
1 vuosi sitten |
|
jherve
|
f4f9e4e0e4
More refactor
|
1 vuosi sitten |
|
jherve
|
7638a23650
Refactor
|
1 vuosi sitten |
|
jherve
|
c0e0c19064
Use RateLimiter + Semaphore to prevent temporary ban from server
|
1 vuosi sitten |
|
jherve
|
1b139f81e6
Change to_ parameter in request to not always hit the cache in some cases
|
1 vuosi sitten |
|
jherve
|
1420c46592
Fixup scraping of main article title
|
1 vuosi sitten |
|
jherve
|
6d84ee74ab
Remove useless code
|
1 vuosi sitten |
|
jherve
|
ef2331a152
Add get_snapshot_closest_to method
|
1 vuosi sitten |
|
jherve
|
8ee0c00824
[fix] datetime instances are also instances of date
|
1 vuosi sitten |
|
jherve
|
8d3ead0005
Some annotations
|
1 vuosi sitten |
|
jherve
|
1201444cba
Properly parse timestamps
|
1 vuosi sitten |
|
jherve
|
8159e1e94c
Refactor
|
1 vuosi sitten |
|
jherve
|
5e6ec0355e
Move client instantiation into main
|
1 vuosi sitten |
|
jherve
|
84912fd851
Move url definition to a class member
|
1 vuosi sitten |
|
jherve
|
4017b49d48
Switch to lxml for HTML parsing
|
1 vuosi sitten |
|
jherve
|
910af7def4
Merge the 2 async functions
|
1 vuosi sitten |
|
jherve
|
0a7b3052fa
Make the project installable
|
1 vuosi sitten |
|
jherve
|
4150de15fb
Split code into modules
|
1 vuosi sitten |
|
jherve
|
c0147c8c9c
Add main article
|
1 vuosi sitten |
