Construire son dataset

Référence

• Dear data

Partie 1 – Collecte structurée

• NocoDB : API
• Postman : exécuter et sauvegarder des requêtes HTTP (GET, POST), importer du code curl, générer des snippets
• Automatisation avec iOS Shortcuts : Get Contents of URL, Ask for Text, Choose from List, Magic Variables, Stop this Shortcut
• Autres APIs: Free Public APIs, GitHub Public APIs list

Partie 2 – Augmenter un dataset avec un LLM local

• LM Studio : Structured Output, MLX pour Apple Sillicon
• Dataset : McDonald's Store Reviews (Kaggle)
• Exemple : Augmenting McDonald's review data with LM Studio

Partie 3 – Web scraping

• Cheerio: Extract method
• Node ecosystem: mjs, npm init, npm install, package.json
• Exemple : Scraping a website for data with Cheerio – nopasaran.ch

Exercice (en binômes)

• Créer ou augmenter un dataset (collecte, scraping ou LLM).
• Utiliser ce dataset pour produire une page web interactive, responsive et publiable, avec une visualisation de données.
• Documenter les difficultés liées à la collecte ou à la structuration du dataset.
• Réfléchir : comment ces biais ou contraintes peuvent-ils se retrouver dans d’autres datasets ?