En lisant le livre, je suis tombé sur de nombreux termes que je ne connais ou ne comprends plus aujourd'hui. Il s'agit en partie de particularités linguistiques du traducteur, ainsi que de références littéraires à la littérature, au théâtre et à l'opérette, qui nous sont totalement étrangères aujourd'hui, car elles n'apparaissent plus dans notre canon pédagogique ou sont tout au plus citées une fois, sans que nous sachions à quoi ces références se réfèrent. À titre d'exemple, je voudrais juste mentionner - sans distinction - que perkolieren, Gargantua, Lord-Fauntleroy-Locken ou bukolische Wildnis. Je vais écrire un support et une explication d'accompagnement pour beaucoup de ces termes dans un autre article.

Cela m'a finalement amené à effectuer ma première analyse de texte avec R sur le texte Schau heimwärts, Engel ! de Thomas Wolfe. Le texte sous-jacent de la traduction allemande de Hans Schiebelhuth, honoré à titre posthume par le prix Georg Büchner, est disponible en ligne dans le cadre du projet Gutenberg.

Cette documentation sur mes premiers pas avec R est explicitement destinée aux débutants et devrait les encourager à utiliser R comme base pour une compréhension éventuellement encore meilleure du texte. Je suis encore au tout début et je me laisse aller là où mon humeur et mes recherches me mènent.

Dans R, vous travaillez avec des objets et des commandes (ordres). Nous commençons par trouver où se trouve notre répertoire de travail. Pour cela, nous utilisons la commande getwd() - get working directory.

Nous pouvons changer cela avec setwd(). Tous mes projets R se trouvent sur C dans le dossier R. Comme je travaille sur les textes de Wolfe, j'ai nommé le répertoire r-wolfe. Lors de la définition de répertoires de travail, il faut s'assurer que le répertoire existe.

Nous écrivons donc et vérifions à nouveau :

Parfait.

Tous les fichiers que nous chargeons ou enregistrons en tant qu'objets sont maintenant dans C:/R/r-wolfe. Avec dir(), nous pouvons afficher tous les fichiers du répertoire de travail. 

Le répertoire contient deux fichiers : auszug.txt et le texte intégral schauheimwaertsengel.txt. L'application de toutes les commandes aux deux textes est pour une meilleure illustration, les exemples de texte et de codage peuvent être mieux affichés avec le texte court du fichier auszug.txt. Le texte complet de Schau heimwärts, Engel ! contient plus de 1,2 million de caractères et près de 10 000 lignes. Pour des raisons de droits d'auteur, je demande à chacun de compiler ce texte lui-même.

Um den Text in R bearbeiten zu können, lade ich ihn als Objekt in R. Dabei hatte ich zunächst einige Probleme mit den Umlauten. 

Als erstes möchte ich mir den Text von auszug.txt einmal in der Konsole anzeigen lassen. Bitte auf die Groß- und Kleinschreibung von Kommandos in R achten!

Schauen wir es uns einmal an.

Le contenu du document chargé est affiché directement dans la console avec la commande. Il comporte 3 lignes et on constate immédiatement que les caractères spéciaux ne sont pas chargés correctement car le format UTF8 n'a pas été reconnu correctement.

Mais si nous spécifions le bon encodage, le problème est rapidement résolu :

C'est mieux comme ça !
Pour ajouter le texte du fichier auszug.txt à un objet nommé extract avec une commande nous utilisons <- . L'objet peut alors être facilement affiché dans la console avec auszug.

Nous faisons la même chose avec le fichier schauheimwaertsengel.txt, que nous chargeons dans l'objet wolfetext.

Supprimer les lignes vides avec collapse()

Comme nous l'avons vu ci-dessus dans auszug, l'objet auszug contient quelques lignes vides, que nous supprimons avec cette commande.

Nous remplaçons les lignes avec collapse() par un caractère d'espace. Les espaces en double sont supprimés par la suite. Le résultat est maintenant une ligne de texte.

Je me passe ici de la représentation de l'objet wolfetext. Mais je procède avec le texte exactement de la même manière qu'avec auszug, c'est-à-dire que je remplace toutes les lignes par un espace avec collapse() et j'attribue le résultat à l'objet wolfetext avec la commande.

Supprimer les signes de ponctuation et les caractères spéciaux avec gsub()

Nos textes contiennent des signes de ponctuation en plus de nombreux mots dits d'arrêt ou de remplissage. Les expressions régulières permettent de les supprimer plus facilement. Les expressions régulières sont une chose magique en soi, une bonne introduction aux expressions régulières que j'ai trouvée ici : dans ce tutoriel et ici, on peut trouver une liste assez complète de toutes les expressions, entre autres à ce stade. Autres liens : Regular Expressions in stringr, R Regular Expressions, Regular Expressions with The R Language.

Nous commençons par supprimer toute la ponctuation et les caractères spéciaux et les remplaçons par des espaces.

Et nous voyons : Toutes les ponctuations et tous les caractères spéciaux ont été supprimés et remplacés par des espaces.

Avec la commande suivante, nous attribuons les résultats des deux commandes à nos deux objets auszug et wolfetext. auszug et wolfetext contiennent désormais du texte sans ponctuation et sans caractères spéciaux et sans espaces.

En outre, tous les chiffres sont maintenant tous supprimés avec

Pour un meilleur traitement du texte, tous les mots du texte sont maintenant convertis en minuscules avec la fonction tolower().

Et nous assignons maintenant la commande à auszug et wolfetext.

Maintenant, nous supprimons toutes les chaînes de longueur 1 de nos textes et affectons à nouveau la commande directement à l'objet auszug. Nous procédons de la même manière avec wolfetext. Cela se fait avec le RegEx \\b[A-z]\\b{1}.

Je voudrais maintenant sauvegarder les deux objets auszug et wolfetext avant de poursuivre le traitement. Cela se fait avec la fonction write.table(). 

Notre répertoire de travail contient maintenant 4 fichiers.  Les fichiers auszug-lower.txt et schauheimwaertsengel-lower.txt contiennent le texte original sans lignes blanches, sans signes de ponctuation et sans chiffres ou chaînes à une partie.

Paquets en R

Le paquet de filtrage et un tout petit peu de statistiques.

Les paquets R sont des ensembles de fonctions et de données développés par la communauté. Ils améliorent les performances de R en améliorant les fonctionnalités de base existantes de R ou en ajoutant de nouvelles fonctionnalités. (...) Récemment, le dépôt officiel (CRAN) a atteint 10 000 paquets publiés, et beaucoup d'autres sont disponibles publiquement sur Internet. (Source : https://www.datacamp.com/community/tutorials/r-packages-guide).

Comme je veux compter certains mots, j'ai d'abord installé le paquet stringr. Packages en installe un simplement via le menu Packages ou avec la fonction install.packages(). 

Dans certains cas, nous devons préciser dans la fenêtre contextuelle à partir de quel serveur nous voulons télécharger le paquet et où il doit être installé. Et avec library(), un paquet installé est chargé dans l'espace de travail. Si le paquet est déjà installé, il doit être chargé au moins à chaque sesson.

Combien de fois Wolfe écrit-il

er ou sie?

Jetzt können wir ein paar Suchfunktionen auf unsere Texte loslassen. Ich fange einmal mit der Suche nach den Zeichenketten er und sie an, zunächst, damit das Ergebnis einfacher überprüfbar ist, mit dem Objekt auszug.

Nous pouvons maintenant laisser certaines fonctions de recherche libres sur nos textes. Je commence par rechercher les chaînes de caractères que  er et sie, tout d'abord, pour que le résultat soit plus facile à vérifier, avec l'objet auszug.

On obtient 12 résultats. Si nous regardons l'extrait, nous voyons que später, engländer et par exemple segler contiennent également la ficelle er. Si nous ajoutons deux espaces à notre recherche, nous ne trouverons que le mot er.

Nous obtenons 3 résultats, ce qui est correct. Pour le fichier wolfetext, il y a 4946 occurrences pour er et 3901 pour sie. Cela représente un ratio de 55,9 % à 44,1 %. Un résultat pas forcément surprenant pour un roman autobiographique écrit par un auteur masculin à prédominance masculine en 1929.

Bien entendu, il manque une enquête plus détaillée sur la manière dont les mots sont utilisés et dans quel contexte.

La recherche peut également être combinée :

Dans la prochaine étape, je voudrais examiner l'occurrence des protagonistes de manière quantitative, pour savoir si je peux détecter une tendance à certains verbes modaux dans le texte. En outre, je voudrais supprimer tous les mots d'arrêt ou de remplissage du texte et enfin créer un nuage de mots dans l'ensemble du texte.

Je le ferai dans la deuxième partie, qui sera publiée ici cette semaine, je l'espère.

Si vous avez des suggestions ou des critiques à me faire, laissez-les dans les commentaires ! Et si vous avez de bons conseils pour les R-Instructions qui concernent spécifiquement l'analyse de texte et le text mining, veuillez les laisser dans les commentaires. J'aime aussi lire ce que vous avez déjà fait avec R !