update abschlussbericht

NAMESPACE

@@ -7,7 +7,6 @@ export(join_speaker)
 export(party_colors)
 export(read_all)
 export(read_from_csv)
-export(read_from_csv_or_fetch)
 export(repair)
 export(word_usage_by_date)
 export(write_to_csv)

R/parse.R

@@ -271,22 +271,3 @@ read_from_csv <- function(path="inst/csv/") {
     is_valid_res(res)
     res
 }
-
-#' @param path directory of csv files to read
-#' read data from csv files if they exist already
-#' otherwise fetch protocols and then write the data into csv files
-#' 
-#' @export
-read_from_csv_or_fetch <- function(path="inst/") {
-    path <- make_directory_path(path)
-    res <- tryCatch(read_from_csv(str_c(path, "csv/")),
-                    error = function(c) NULL)
-    if (!is.null(res)) return(res)
-    
-    fetch_all(str_c(path, "records/"), create=T)
-    read_all(str_c(path, "records/")) %>%
-        repair() ->
-        res
-    write_to_csv(res, str_c(path, "csv/"), create=T)
-    res
-}

README.md

@@ -9,7 +9,26 @@ Using the `remotes` package, this is easily installed via:
 ```r
 remotes::install_url("https://git.flavigny.de/christian/hateimparlament/archive/master.zip")
 ```
-If you want to build the vignettes, pass `build_vignettes = TRUE`.
+Since the fetching and reading is very slow and depends on an internet connection, all vignettes
+use `read_from_csv` to read already parsed tibbles from `.csv` files.
+
+That's why, if you want to build the vignettes yourself, you need to
+download the source code, e.g. on Linux
+```
+git clone https://git.flavigny.de/christian/hateimparlament
+cd hateimparlament
+```
+then start `R` and do
+```r
+devtools::load_all()
+fetch_all(create = TRUE)
+read_all() %>% repair() -> res
+write_to_csv(res, create = TRUE)
+```
+Then finally, do:
+```r
+devtools::install(build_vignettes = TRUE)
+```
 
 # Features
 

inst/reports/abschlussbericht.tex

@@ -2,15 +2,20 @@
 \usepackage[top=2.5cm, bottom=2.5cm]{geometry}
 
 \begin{document}
+    \title*{Abschlussbericht}
     \section*{Projektbeschreibung}
-    Wir haben zunächst die Plenarprotokolle der 19. Wahlperiode von der Website automatisiert herunterladen lassen.
+    Unser Projekt "Plenarprotokolle" stellt mittels dem Paket "hateimparlament" Funktionen zur Analyse der Plenarprotokolle der 19. Wahlperiode des deutschen Bundestages zur Verfügung. Diese Funktionen können in vier Bereiche unterteilt werden:
-    Als nächstes haben wir die Daten in ein für die Analyse sinnvolles Format gebracht, d.h. 5 Tibbles  und Fehler ausgebessert.
+    1. Herunterladen der Protokolle
-    Daraufhin konnten wir mit der Analyse beginnen.
+    2. Konvertierung der XML-Dateien in Tibbles
-    Insbesondere 
+    3. Reparieren von Fehlern
-    \section*{Werkzeuge aus der Vorlesung}
+    4. Analyse
-    Wir haben, da es hauptsächlich um Datenanalyse ging, sehr viel mit tidyverse gearbeitet.
+    Das Herunterladen der Protokolle gelingt über die Funktion fetch_all(), welche auf die Website des deutschen Bundestages zugreift und die XML-Dateien einzeln herunterlädt. Hierzu haben wir das Paket rvest verwendet, welches wir bereits in der Vorlesung kennengelernt haben.
-    Ganz zu Beginn haben wir fürs fetchen der Protokolle rvest verwendet.
+    Durch read_all() werden diese heruntergeladenen XML-Dateien in eine benannte Liste mit fünf Tibbles (speaker, speeches, talks, comments und applause) geschrieben. Allerdings benötigt man diese Tibbles immer wieder und es ist ziemlich zeitaufwändig die XML-Dateien immer wieder neu in Tibbles einzulesen, deshalb haben wir zusätzlich eine Funkion write_to_csv() geschrieben, die die fertigen Tibbles als CSV-Dateien speichert. Diese können dann sehr schnell durch read_from_csv() eingelesen werden, wodurch viel Zeit gesparrt wird.
-    Für die Visualisierung haben wir ggplot2 sowie vignettes genutzt.
+    Da diese Protokolle kleine Fehler enthalten, müssen diese noch im nächsten Schritt bereinigt werden, was mit repair() funktioniert. Hierbei wird das Paket tidyverse viel benutzt, welches insgesamt sehr viel in unserem Projekt beansprucht wird, da wir uns mit der Datenanalyse beschäftigen.
+    In analyse.R stellen wir noch einige Hilfsfunktionen bereit, die es dem Nutzer vereinfachen die Daten auszuwerten. Beispielsweise steht schon eine Funktion zur Verfügung, die ein Balkendiagramm erstellt, bei dem jede Partei des Bundestages sperat ausgewertet wird. Hierbei wird das Paket ggplot2 verwendet.
+    Im letzten Schritt unseres Projekts haben wir Fragestellungen festgelegt, die wir mithilfe von unserem Paket beantworten wollten. Die Daten und unsere Ergebnisse visualisierten wir mithilfe von ggplot2 und tidyverse in Vignetten. 
     \section*{Organisation des Teams}
+    Während der ersten Projektphase wurden hauptsächlich die Funktionen zum Herunterladen der Dateien und Konvertieren und Reparieren der Tibbles geschrieben. Dies geschah größtenteils in Einzelarbeit, wobei hierbei die gegenseitige Kontrolle und Nachfragen die Funktionen optimiert haben. Zwischendurch wurde immer mal wieder zu einer HeiConf-Konferenz einberufen, um sich selbst den Zwischenstand klar zu machen und die Herausforderungen für die nächsten Wochen zu besprechen.
+    In der zweiten Hälfte des Projekts kümmerten wir uns dann um die Analyse der Daten und stellten unsere Ergebnisse in Vignetten da und erzeugten Dokumentationen für alle Funktionen, die für den Nutzer wichtig sind.
     \section*{Meine Beteiligung}
 \end{document}

vignettes/explicittopic.Rmd

@@ -34,10 +34,9 @@ read_all("../inst/records/") %>% repair() -> res
 ```
 We also used `repair` to fix a bunch of formatting issues in the records.
 
-For development purposes, we only fetch records if they are not already
+For development purposes, we load the tables from csv files.
-stored as csv files:
 ```{r}
-res <- read_from_csv_or_fetch('../inst/')
+res <- read_from_csv('../inst/csv/')
 ```
 
 ## Analysis

vignettes/genderequality.Rmd

@@ -35,13 +35,10 @@ read_all("../records/") %>% repair() -> res
 ```
 We also used `repair` to fix a bunch of formatting issues in the records.
 
-For development purposes, we only fetch records if they are not already
+For development purposes, we load the tables from csv files.
-stored as csv files:
 ```{r}
-res <- read_from_csv_or_fetch('../inst/')
+res <- read_from_csv('../inst/csv/')
 ```
-
-
 and unpack our tibbles
 ```{r}
 comments <- res$comments

vignettes/generalquestions.Rmd

@@ -34,10 +34,9 @@ read_all("../inst/records/") %>% repair() -> res
 ```
 We also used `repair` to fix a bunch of formatting issues in the records.
 
-For development purposes, we only fetch records if they are not already
+For development purposes, we load the tables from csv files.
-stored as csv files:
 ```{r}
-res <- read_from_csv_or_fetch('../inst/')
+res <- read_from_csv('../inst/csv/')
 ```
 
 ## Analysis

vignettes/hitlercomparison.Rmd

@@ -38,10 +38,9 @@ talks <- res$talks
 We also used `repair` to fix a bunch of formatting issues in the records and unpacked
 the result into more descriptive variables.
 
-For development purposes, we only fetch records if they are not already
+For development purposes, we load the tables from csv files.
-stored as csv files:
 ```{r}
-tables <- read_from_csv_or_fetch('../inst/')
+tables <- read_from_csv('../inst/csv/')
 
 comments <- tables$comments
 speeches <- tables$speeches

vignettes/interaction.Rmd

@@ -34,10 +34,9 @@ read_all("../inst/records/") %>% repair() -> res
 ```
 We also used `repair` to fix a bunch of formatting issues in the records.
 
-For development purposes, we only fetch records if they are not already
+For development purposes, we load the tables from csv files.
-stored as csv files:
 ```{r}
-res <- read_from_csv_or_fetch('../inst/')
+res <- read_from_csv('../inst/csv/')
 ```
 
 ## Analysis