Mise sur pied d’une plateforme de gestion intelligente et automatique de la qualité de données. Cas pratique : capture et classification des données de Wariba Classifieds

Abstract

De plus en plus de plateformes internet se sont tournées vers le web 2.0,avec un contenu essentiellement généré par les utilisateurs. Cette tendance donnel’avantage d’une rapidité dans la circulation de l’information qui devient de plus en plusdiverse et intéressante pour les internautes. Cependant des problèmes liés à la qualité desinformations qui circulent sur ces plateformes deviennent de plus en plus fréquents carelles sont ouvertes à tout le monde. Les arnaques, les propositions d’adhésion auxorganismes et pratiques occultes, les contenus adultes sont très rencontrés sur cesplateformes. Alors pour y remédier, la solution très souvent est de mettre en place unsystème de modération manuelle où des personnes devront vérifier et valider les contenuspubliés. Cela s’avère à la fois fatiguant pour les modérateurs et coûteux pour lesentreprises, notamment les startups. Le présent travail propose une solution qui permet lagestion intelligente et automatique des contenus générés par les utilisateurs, afin d’éviterles dérives. Le système mis sur pied appelé MLA ( Machine Learning Application ) estcapable de : détecter les contenus indésirables (suivant un ensemble de critèresd’indésirabilité) et de classer automatiquement des contenus crées dans des catégoriesbien définies. Une autre partie toute aussi importante de notre travail, est la recherche decontenus dupliqués ou similaires, ce dans le but d’empêcher que les sites aient l’airspammés et de poser des actions commerciales. Cette contribution à l’automatisation destâches est importante, puisqu’elle permet à l’entreprise d’optimiser l’utilisation de sesressources humaines et produire dans l’ensemble de meilleurs résultats.