 jherve
|
8b08da96ca
Add SQL views for articles
|
hai 1 ano |
|
jherve
|
91309c7470
Handle the case when no snapshot is yet available
|
hai 1 ano |
|
jherve
|
434814257b
Refactor ArchiveDownloader code
|
hai 1 ano |
|
jherve
|
0480ef5887
Refactor insert statement
|
hai 1 ano |
|
jherve
|
322e5ffd4c
Normalize snapshots table
|
hai 1 ano |
|
jherve
|
43335a3904
Add site table
|
hai 1 ano |
|
jherve
|
69d6c8cad4
Normalize top_articles and main_articles tables with a FK to snapshots
|
hai 1 ano |
|
jherve
|
6f83c87189
Add virtual_timestamp field
|
hai 1 ano |
|
jherve
|
78750990e9
Add a snapshot table
|
hai 1 ano |
|
jherve
|
2a7ae2e91e
Move collections to a `media` module
|
hai 1 ano |
|
jherve
|
9f647cc70e
Add france_tv_info website
|
hai 1 ano |
|
jherve
|
48802dd194
Add a unique index to sql tables
|
hai 1 ano |
|
jherve
|
330ab7f8b9
Move storage into sqlite database to main async function
|
hai 1 ano |
|
jherve
|
6d888a1fa7
Add sqlite storage
|
hai 1 ano |
|
jherve
|
c9878f387b
Move collection argument all the way back to main loop
|
hai 1 ano |
|
jherve
|
82c133c49f
Some reformat
|
hai 1 ano |
|
jherve
|
e9ec5c4e31
Add collection notion
|
hai 1 ano |
|
jherve
|
bd172a3234
Add top_articles / main_article attributes
|
hai 1 ano |
|
jherve
|
b49fb36112
Add some abstract classes
|
hai 1 ano |
|
jherve
|
86eecdbdb7
More refactor
|
hai 1 ano |
|
jherve
|
a9bb24bd89
Add InternetArchiveSnapshot class
|
hai 1 ano |
|
jherve
|
23003f5f97
Review renaming
|
hai 1 ano |
|
jherve
|
b738bb87ce
fix unused imports
|
hai 1 ano |
|
jherve
|
67a2f03714
Some renaming
|
hai 1 ano |
|
jherve
|
f4f9e4e0e4
More refactor
|
hai 1 ano |
|
jherve
|
7638a23650
Refactor
|
hai 1 ano |
|
jherve
|
c0e0c19064
Use RateLimiter + Semaphore to prevent temporary ban from server
|
hai 1 ano |
|
jherve
|
1b139f81e6
Change to_ parameter in request to not always hit the cache in some cases
|
hai 1 ano |
|
jherve
|
1420c46592
Fixup scraping of main article title
|
hai 1 ano |
|
jherve
|
6d84ee74ab
Remove useless code
|
hai 1 ano |
