NLP - Mes outils NLP

Actuellement je travaille à fond le sujet NLP, Naturel Language Processing... Des techniques d'analyse de textes libres permettant de comprendre des textes.

Cela regroupe différentes approches :

  • L'utilisation de REGEX (Expression régulière) pour extraire des dates, des adresses, etc...
  • L'utilisation de moteur de règle
  • Des approches statistiques
  • etc....
pour ma part j'utilise surtout : 
  • Des Regex
  • Des mesures de distance entre mots (nombre de mots séparant deux mots)
  • Des ontologies 
  • Des Taxonomies 
  • et de l'IA (lire la suite)
Et des outils suivants : 

  • Stanford NLP Core 
Le client web

Installation et client REST

  • Des outils comme Spacy et TextDistance

  • Du DeepLearning basé sur Tensorflow 


  • Mais aussi des librairies comme iText, énormément d'ElasticSearch, et du graphbase avec Neo4J et des dico.
Au final j'ai créé des solutions de web crawling, d'indexation de PDF, de classification.
Parfois j'utilise de l'IA juste pour sélectionner un set de regex à appliquer. Parfois j'utilise Watson, ou Google pour créer mes sets d'entrainement. Voilou dans les grandes lignes, mais le plus difficile est d'aller au delà et comprendre le sens des phrases. Pour les aspects émotionnels, je prèfère soit une approche basée sur la valeur émotionnelle de mots (c'est pas parfait mais assez efficace) soit du deep learning maison, même si je dois reconnaître qu'IBM Watson est incroyable pour cela. 

Pour l'analyse de style de me limite aux statistiques de base. 

Pour plus d'information et pour des démos : contact@jfortias.net 


Jérôme 


Commentaires

Articles les plus consultés