scrap/TODO.md

TODO - PriceWatch

Liste des tâches priorisées pour le développement de PriceWatch.

Légende

• À faire
• Terminé
• [~] En cours

---

Phase 1 : Fondations CLI

Étape 1 : Documentation et structure

• Créer README.md complet
• Créer TODO.md (ce fichier)
• Créer CHANGELOG.md
• Créer structure des dossiers du projet
• Créer pyproject.toml avec dépendances

Étape 2 : Modèle de données

• Implémenter ProductSnapshot (Pydantic) dans core/schema.py
  • Champs métadonnées (source, url, fetched_at)
  • Champs produit (title, price, currency, shipping_cost, stock_status, reference, images, category, specs)
  • Champs debug (method, errors, notes, status)
  • Validation et serialization JSON

Étape 3 : Core utilitaires

• Implémenter core/logging.py
  • Configuration logger avec niveaux (DEBUG, INFO, ERROR)
  • Formatage des logs
• Implémenter core/io.py
  • Lecture YAML (scrap_url.yaml)
  • Écriture JSON (scraped_store.json)
  • Validation des fichiers

Étape 4 : Architecture des stores

• Implémenter BaseStore abstrait (stores/base.py)
  • Méthode match(url) -> float
  • Méthode canonicalize(url) -> str
  • Méthode extract_reference(url) -> str
  • Méthode fetch(url, method, options) -> str
  • Méthode parse(html, url) -> ProductSnapshot
• Implémenter Registry (core/registry.py)
  • Enregistrement dynamique des stores
  • Détection automatique du store depuis URL
  • Méthode get_best_store(url)

Étape 5 : Scraping

• Implémenter scraping/http_fetch.py
  • Fonction fetch_http(url, timeout, headers)
  • Gestion des erreurs (403, timeout, connexion)
  • User-Agent rotation
  • Logging détaillé
• Implémenter scraping/pw_fetch.py
  • Fonction fetch_playwright(url, options)
  • Support headless/headful
  • Sauvegarde HTML optionnelle
  • Screenshot optionnel
  • Timeout configurable
  • Logging détaillé

Étape 6 : Store Amazon

• Créer structure stores/amazon/
• Implémenter stores/amazon/store.py (AmazonStore)
  • match() : détection amazon.fr/amazon.com
  • canonicalize() : nettoyage URL vers /dp/{ASIN}
  • extract_reference() : extraction ASIN
  • parse() : parsing HTML vers ProductSnapshot
• Créer stores/amazon/selectors.yml
  • Sélecteurs pour title
  • Sélecteurs pour price
  • Sélecteurs pour currency
  • Sélecteurs pour shipping_cost
  • Sélecteurs pour stock_status
  • Sélecteurs pour images
  • Sélecteurs pour category
  • Sélecteurs pour specs
• Ajouter fixtures HTML dans stores/amazon/fixtures/

Étape 7 : Store Cdiscount

• Créer structure stores/cdiscount/
• Implémenter stores/cdiscount/store.py (CdiscountStore)
  • match() : détection cdiscount.com
  • canonicalize() : nettoyage URL
  • extract_reference() : extraction SKU
  • parse() : parsing HTML vers ProductSnapshot
• Créer stores/cdiscount/selectors.yml
  • Sélecteurs pour tous les champs ProductSnapshot
• Ajouter fixtures HTML dans stores/cdiscount/fixtures/

Étape 8 : CLI

• Implémenter cli/main.py avec Typer
  • Commande pricewatch run
  • Commande pricewatch detect
  • Commande pricewatch fetch
  • Commande pricewatch parse
  • Commande pricewatch doctor
  • Flag --debug global
  • Logging vers console

Étape 9 : Tests

• Configurer pytest dans pyproject.toml
• Tests core/schema.py
  • Validation ProductSnapshot
  • Serialization JSON
• Tests core/registry.py
  • Enregistrement stores
  • Détection automatique
• Tests stores/amazon/
  • match() avec différentes URLs
  • canonicalize()
  • extract_reference()
  • [~] parse() sur fixtures HTML (6 tests nécessitent fixtures réels)
• Tests stores/cdiscount/
  • Idem Amazon
• Tests scraping/
  • http_fetch avec mock
  • pw_fetch avec mock

Étape 10 : Intégration et validation

• Créer scrap_url.yaml exemple
• Tester pipeline complet YAML → JSON
• Tester avec vraies URLs Amazon
• Tester avec vraies URLs Cdiscount
• Vérifier tous les modes de debug
• Valider sauvegarde HTML/screenshots
• Documentation finale

Bilan Étape 9 (Tests pytest)

État: 80 tests passent / 86 tests totaux (93%)

• ✓ core/schema.py: 29/29 tests
• ✓ core/registry.py: 24/24 tests
• ✓ stores/amazon/: 27/33 tests (6 tests nécessitent fixtures HTML réalistes)

Tests restants:

• Fixtures HTML Amazon/Cdiscount
• Tests Cdiscount store
• Tests scraping avec mocks

---

Phase 2 : Base de données (Future)

Persistence

• Schéma PostgreSQL
• Migrations Alembic
• Models SQLAlchemy
• CRUD produits
• Historique prix

Configuration

• Fichier config (DB credentials)
• Variables d'environnement
• Dockerfile PostgreSQL

---

Phase 3 : Worker et automation (Future)

Worker

• Setup Redis
• Worker RQ ou Celery
• Queue de scraping
• Retry policy

Planification

• Cron ou scheduler intégré
• Scraping quotidien automatique
• Logs des runs

---

Phase 4 : Web UI (Future)

Backend API

• FastAPI endpoints
• Authentification
• CORS

Frontend

• Framework (React/Vue?)
• Design responsive
• Dark theme Gruvbox
• Graphiques historique prix
• Gestion alertes

---

Phase 5 : Alertes (Future)

Notifications

• Système d'alertes (baisse prix, retour stock)
• Email
• Webhooks
• Push notifications

---

Améliorations techniques

Performance

• Cache Redis pour résultats
• Rate limiting par store
• Parallélisation scraping

Robustesse

• Retry automatique sur échec
• Circuit breaker
• Monitoring (Prometheus?)

Extensibilité

• Plugin system pour nouveaux stores
• Configuration stores externe
• API publique

---

Dernière mise à jour: 2026-01-13