Worüber ist unser Vortrag

Linux ist eine Schatzkiste voller Werkzeuge. Darin befinden sich gut bekannte wie ls, cd, mkdir, touch, cat und grep. Aber da ist noch viel mehr. Wir freuen uns, unsere Liste der tollen Werkzeuge, die wir gefunden haben, mit Euch zu teilen. Damit wird euer Leben als Linux-Benutzer, Admin und Entwickler einfacher. Schatzsuche vom Feinsten.

Wer wir sind

Axel Beckert: Linux-Systemadministrator und Spezialist für Netzwerksicherheit an der ETH Zürich. Debian-Entwickler und Administrator von debian.ethz.ch aka ftp.ch.debian.org. Vorstandsmitglied der Linux User Group Switzerland (LUGS). Hochgeschätzter Co-Moderator des Schweizerisch-Deutschen Podcasts Hackerfunk.
Frank Hofmann: IT-Spezialist mit dem Blickwinkel auf Training (LPI), Technische Dokumentation und Druck & Satz. Digitaler Nomade. Unabhängiger Autor für LinuxUser. Nach Berlin und Cape Town lebt er derzeit in Besançon, Franche-Comté. Mit Kind, Frau und ohne Katze.

Seit 2012 schreiben und betreuen wir das Debian Paketmanagement-Buch.

Was wir hier tun

Benennen das Werkzeug sowie das dazugehörige Debianpaket.
Erklären, was Du damit machen kannst.
Zeigen konkrete Anwendungsfälle.

Über die Liste der Werkzeuge

Diese Liste wird wahrscheinlich für immer unvollständig sein — da ist garantiert mehr.
Wir können nicht alle Parameter zeigen.
Die Dokumentation ist manchmal etwas knapp. Wir zeigen nur, was wir herausgefunden haben :-)
Wir arbeiten mit Debian GNU/Linux.
- Die Werkzeuge sind möglicherweise noch nicht für die Linux-Distribution paketiert, die Du benutzt.
- Die referenzierten Pakete haben andere Namen.
Viele Werkzeuge sind Teil essentieller Pakete und somit bereits installiert.
Du hast Vorschläge? Erzähle es uns! Wir sind neugierig und wollen mehr lernen :)

`fmt` (coreutils)

Kategorie: Text-Werkzeuge
Aufgabe: Text / Absätze umformatieren mit einer bestimmten Breite
Was fmt macht:
- width heißt Zeichen pro Zeile (default: 75)
- respektiert Wortgrenzen
- entfernt mehrfach vorkommende Leerzeichen
Nützliche Schalter:
-w (--width)

Anzahl Zeichen pro Zeile

-p (--prefix)
nur die Zeilen mit dem Präfix berücksichtigen
$ fmt -w 50 -p "#" Kommentar
-c (--crown-margin)

die erste Zeile unverändert lassen

`fold` (coreutils)

Kategorie: Text-Werkzeuge
ähnlich zu fmt
- Standardbreite: 80 Zeichen pro Zeile
- berücksichtigt Wortgrenzen nicht

Nützliche Schalter

-w (--width)

Anzahl der Zeichen pro Zeile

$ fold -w50 paragraph
The command `grep` works on text data as a filter
and only prints the lines of text that match a giv
en pattern. `grep` needs 'data' to work on in comb
ination with a 'pattern' to look for. In this cont
...
$

-s (--spaces)

respektiere Wortgrenzen

$ fold -sw50 paragraph
The command `grep` works on text data as a filter
and only prints the lines of text that match a
given pattern. `grep` needs 'data' to work on in
combination with a 'pattern' to look for. In this
...
$

`column` (bsdmainutils)

Kategorie: Text-Werkzeuge

Daten spaltenweise ausgeben

passt die Ausgabe (und die Anzahl der Spalten) dem Ausgabefenster an
Ausgabe von links nach rechts (füllt die ganz linke Spalte zuerst)

trennt die Spalten mittels Komma

$ column addresses
D-91522 Ansbach         D-60000 Frankfurt/Main  CH-1000 Lausanne
F-25000 Besancon        CH-1200 Genf            D-80000 München
ZA-8000 Cape Town       D-20000 Hamburg         D-70173 Stuttgart
$

nützliche Schalter

-c

spaltenweise formatieren

-x

Ausgabe von links nach rechts (füllt die Zeile zuerst)

$ column -x addresses
D-91522 Ansbach         F-25000 Besancon        ZA-8000 Cape Town
D-60000 Frankfurt/Main  CH-1200 Genf    D-20000 Hamburg
CH-1000 Lausanne        D-80000 München                D-70173 Stuttgart
$

-e

Leerzeilen beibehalten

$ cat addresses
D-91522 Ansbach
F-25000 Besancon
ZA-8000 Cape Town
D-60000 Frankfurt/Main
CH-1200 Genf

D-20000 Hamburg
CH-1000 Lausanne
D-80000 München
D-70173 Stuttgart
$
$ column -e addresses
D-91522 Ansbach         CH-1200 Genf            D-80000 München
F-25000 Besancon                                D-70173 Stuttgart
ZA-8000 Cape Town       D-20000 Hamburg
D-60000 Frankfurt/Main  CH-1000 Lausanne
$

-t

Zeilenumbrüche beibehalten

$ column -t /proc/mounts
sysfs      /sys       sysfs     rw,nosuid,nodev,noexec,relatime         0  0
proc       /proc      proc      rw,nosuid,nodev,noexec,relatime         0  0
udev       /dev       devtmpfs  rw,nosuid,relatime,size=…,mode=755      0  0
devpts     /dev/pts   devpts    rw,nosuid,noexec,relatime,…             0  0
tmpfs      /run       tmpfs     rw,nosuid,noexec,relatime,…             0  0
/dev/sda1  /          ext4      rw,relatime,discard,errors=remount-ro   0  0
tmpfs      /dev/shm   tmpfs     rw,nosuid,nodev                         0  0
tmpfs      /run/lock  tmpfs     rw,nosuid,nodev,noexec,relatime,size=…  0  0
[…]
$

`comm` (coreutils)

Kategorie: Text-Werkzeuge
Vergleiche zwei sortierte Textdateien miteinander. Ausgabe der Zeilen, die in beiden Dateien existieren sowie derer, die einzigartig sind

zeige die unterschiedlichen Zeilen — die Zeilen in Spalte 3 existieren in beiden Dateien

$ comm file1 file2
Line 1
                Line 2
                Line 3
        Line 4
Line 5
$

Schalter

-1

unterdrücke Spalte 1

-2

unterdrücke Spalte 2

-3

unterdrücke Spalte 3
Beispiel: zeige die Zeilen, die in beiden Dateien existieren
```
$ comm -12 file1 file2
Line 2
Line 3
$
```

`join` (coreutils)

Kategorie: Text-Werkzeuge

Zusammensetzen von Zeilen mit dem gleichen Präfix

$ cat namen
Nummer Name
15672 Anna Fischer
31984 Holger Meier
21564 Werner Baumgarten
15670 Gottfried Scherz
$
$ cat geburtstage
Nummer Geburtstag
15672 12 Feb 1977
31984 1 Oct 1980
21564 15 Nov 1974
15670 5 May 2006
$
$ join namen geburtstage
Nummer Name Geburtstag
15672 Anna Fischer 12 Feb 1977
31984 Holger Meier 1 Oct 1980
21564 Werner Baumgarten 15 Nov 1974
15670 Gottfried Scherz 5 May 2006
$

Nützliche Schalter

-header

Behält die erste Zeile (Kopfzeile) bei

-t

Separator zwischen den Ausgabezeilen definieren

$ join -t, names birthdays
Number,Name,Birthday
15672,Anna Fischer,12 Feb 1977
31984,Holger Meier,1 Oct 1980
21564,Werner Baumgarten,15 Nov 1974
15670,Gottfried Scherz,5 May 2006
$

-i (--ignore-case)

Groß- und Kleinschreibung ignorieren

`paste` (coreutils)

Kategorie: Text-Werkzeuge
Setzt Zeilen von verschiedenen Dateien zusammen — die erste Zeile von Datei 2 wird als weitere Spalte zur ersten Zeile von Datei 1 hinzugefügt

Nützliche Schalter

-d (--delimiters)

Definiert das Zeichen zwischen den Spalten

Gleiches Zeichen zwischen allen Spalten

$ paste -d "," namen3 geburtstage3
Nummer,Name,Geburtstag
15672,Anna Fischer,12 Feb 1977
31984,Holger Meier,1 Oct 1980
21564,Werner Baumgarten,15 Nov 1974
15670,Gottfried Scherz,5 May 2006
$

Zwei verschiedene Zeichen zwischen den Spalten

$ paste -d "|," namen3 geburtstage3
Nummer|Name,Geburtstag
15672|Anna Fischer,12 Feb 1977
31984|Holger Meier,1 Oct 1980
21564|Werner Baumgarten,15 Nov 1974
15670|Gottfried Scherz,5 May 2006
$

`rev` (util-linux)

Kategorie: Text-Werkzeuge
Dreht die Reihenfolge der Zeichen einer Zeile um

$ echo Hallo | rev
ollaH
$

Gibt es einen Straßenatlas, in dem die Ortsnamen nach Endsilben sortiert sind?

Der tiefere Sinn des Labenz; Seite 220
— Sven Böttcher

$ zcat /usr/share/misc/countries.gz | awk -F: '{print $4}' | rev | sort | rev | tail -10
Vanuatu
Paraguay
Uruguay
Norway
Turkey
Italy
Germany
Hungary
British Indian Ocean Territory
Occupied Palestinian Territory
$

`tac` (coreutils)

Kategorie: Text-Werkzeuge
Gegenstück zu cat
Gibt eine Datei Zeile für Zeile in umgekehrter Reihenfolge aus (letzte Zeile zuerst)

$ cat adressen
CH-1000 Lausanne
D-20000 Hamburg
F-25000 Besancon
ZA-8000 Cape Town
$
$ tac adressen
ZA-8000 Cape Town
F-25000 Besancon
D-20000 Hamburg
CH-1000 Lausanne
$

`shuf` (coreutils) und `unsort` (unsort)

Kategorie: Text-Werkzeuge
Erstellt eine zufällige Anzahl an Zahlen oder Zeilen
- shuf kann nur Zahlen generieren
- unsort kann Zahlen und Zeichenketten durcheinanderwürfeln
Beispiele
- Zufällige Ausgabe der Zahlen von 1 bis 5
```
$ shuf -i 1-5
2
5
1
4
3
$
```
- Zufällige Ausgabe von fünf Werten zwischen 1 und 25
```
$ shuf -i 1-25 -n 5
10
24
9
16
21
$
```
- Spiele Audiodateien in zufälliger Reihenfolge mit cvlc ab
```
$ find . -name '*.mp3' -print0 | unsort -0 | xargs -0 cvlc
...
$
```

`expand` und `unexpand` (coreutils)

Kategorie: Text-Werkzeuge
Liest Textdateien und expandiert bzw. kollabiert jeden Tabulator zu Leerzeichen
- Standardeinstellung: 8 Leerzeichen
- Schalter -t: setzt eine andere Anzahl von Leerzeichen

$ cat namen
Nummer  Name
15672   Anna Fischer
31984   Holger Meier
21564   Werner Baumgarten
15670   Gottfried Scherz
$ expand -t 10 namen
Nummer    Name
15672     Anna Fischer
31984     Holger Meier
21564     Werner Baumgarten
15670     Gottfried Scherz
$

`numfmt` (coreutils)

Kategorie: Text-Werkzeuge
Konvertiert Zahlen zwischen verschiedene Zahlenformaten

Konvertierung	Kommando	Resultat
vom SI	`numfmt --from=si 1K`	1000
von IEC	`numfmt --from=iec 1K`	1024
von IEC-i	`numfmt --from=iec-i 1Ki`	1024
nach SI	`numfmt --to=si 2048`	2,1K
nach IEC	`numfmt --to=iec 2048`	2,0K
nach IEC-i	`numfmt --to=iec-i 2048`	2,0Ki

$ cat verkäufe | numfmt --header=2 --field 2 --to=si
Produkt  Menge
 --------------
Schuhe    146K
Hüte      5,7K
Socken     32K
Hosen     516K
$

`timeout` (coreutils) und `timelimit` (timelimit)

Kategorie: Prozeßmanagement
Begrenzt die Laufzeit von Programmen
- Wenn das Programm nach der angegebenen Zeit immer noch läuft, wird es abgebrochen mit dem Signal SIGTERM (automatisch gesendet von timeout)
- timelimit sendet zuerst ein freundlicheres Warn-"Signal"

Figure 1. Begrenzung der Laufzeit auf 10 Sekunden

Schalter für timelimit:
- warntime=3600 seconds (switch -t)
- warnsig=15 (switch -s)
- killtime=120 seconds (switch -T)
- killsig=9 (switch -S)

Begrenze tail auf 10 Sekunden

$ timelimit -t10 tail -f /var/log/messages

`sponge` (moreutils)

Kategorie: Pipe-Helfer
Saugt sämtliche Eingaben auf, öffnet erst ganz am Ende die Ausgabe-Datei zum Schreiben
Ähnlich einer Hilfsvariable zum Austauschen zweier Variableninhalte

Wo bzw. warum sponge gebraucht wird.

$ echo foo > bar
$ cat bar | sed -e s/foo/fnord/ > bar
$ cat bar
$

Mit sponge funktioniert das.

$ echo foo > bar
$ cat bar | sed -e s/foo/fnord/ | sponge bar
$ cat bar
fnord
$

Status- und Fortschrittsbalken: Übersicht

Kategorie: Pipe-Helfer

Durchflußmesser

Typischer Aufruf: lese-kommando | durchflußmesser | schreib-kommando

pv (pv)
pipemeter (pipemeter)
bar (bar)
dd (coreutils)
cpipe (cpipe)

Messung anhand von Lese- oder Schreibposition

progress (progress)

`pv` (pv) + `pipemeter` (pipemeter) + `bar` (bar)

Beispiele für pv

$ zcat 9pi.img.gz | pv > /dev/null
 480MiB 0:00:04 [ 116MiB/s] [       <=>                         ]
$ zcat 9pi.img.gz | pv -s 480M > /dev/null
 178MiB 0:00:02 [76.5MiB/s] [===========>                       ] 37% ETA 0:00:03
$

Beispiele für pipemeter

$ zcat 9pi.img.gz | pipemeter > /dev/null
 120.00M/s  480.00M    8.00k   0:00:04
$ zcat 9pi.img.gz | pipemeter -s 480M > /dev/null
[********------------------------]  115.18M/s  115.18M  24.0%   0:00:03
[…]
[********************************]  120.00M/s  480.00M 100.0%   0:00:04
$

Beispiele für bar

$ zcat 9pi.img.gz | bar > /dev/null
 480.0MB at  120.0MB/s  elapsed:   0:00:04
Copied: 503316480B (480.0MB)
Time:  4 seconds
Throughput: 125829120B (120.0MB/s)
$ zcat 9pi.img.gz | bar -s 480M > /dev/null
 119.1MB at   59.5MB/s  eta:   0:00:06   24% [=========                         ]
[…]
 480.0MB at  120.0MB/s  eta:   0:00:00  100% [==================================]
Copied: 503316480B (480.0MB) (100% of expected input)
Time:  4 seconds
Throughput: 125829120B (120.0MB/s)
$

`dd` (coreutils)

(Funktion verfügbar ab Debian 9 Stretch und Ubuntu 14.04 LTS.)

Beispiel von dd als reinen Durchflußmesser

$ zcat 9pi.img.gz | dd status=progress > /dev/null
473956864 bytes (474 MB, 452 MiB) copied, 4 s, 118 MB/s
983040+0 records in
983040+0 records out
503316480 bytes (503 MB, 480 MiB) copied, 4.18 s, 120 MB/s
$

`cpipe` (cpipe)

Macht gar nichts ohne Parameter
Schreibt nicht immer wieder der selbe Zeile neu sondern eine neue Zeile pro Messung
Kann den Durchsatz beschränken

Beispiel für cpipe

$ zcat 9pi.img.gz | cpipe -vt > /dev/null
thru:   1.144ms at  109.3MB/s ( 109.3MB/s avg)  128.0kB
thru:   1.223ms at  102.2MB/s ( 103.8MB/s avg)  256.0kB
thru:   1.525ms at   82.0MB/s (  95.1MB/s avg)  384.0kB
thru:   1.605ms at   77.9MB/s (  89.9MB/s avg)  512.0kB
thru:   1.719ms at   72.7MB/s (  85.5MB/s avg)  640.0kB
thru:   1.542ms at   81.1MB/s (  84.6MB/s avg)  768.0kB
thru:   1.611ms at   77.6MB/s (  83.3MB/s avg)  896.0kB
thru:   1.658ms at   75.4MB/s (  82.1MB/s avg) 1024.0kB
thru:   1.538ms at   81.3MB/s (  81.9MB/s avg)    1.1MB
thru:   1.599ms at   78.2MB/s (  81.4MB/s avg)    1.2MB
thru:   1.704ms at   73.4MB/s (  80.5MB/s avg)    1.4MB
thru:   1.473ms at   84.9MB/s (  80.8MB/s avg)    1.5MB
[…]
$

`progress` (progress)

Einfaches Beispiel für progress

$ zcat 9pi.img.gz > /dev/null &
[1] 19513
$ progress
[19153] gzip /home/abe/Images/Raspberry_Pi/9pi.img.gz
        14.0% (17.1 MiB / 121.8 MiB)
$

Beispiel, wenn progress keine ihm bekannten Programme findet.

$ progress
No command currently running: cp, mv, dd, tar, cat, rsync, grep, fgrep, egrep, cut, sort, md5sum, sha1sum, sha224sum, sha256sum, sha384sum, sha512sum, adb, gzip, gunzip, bzip2, bunzip2, xz, unxz, lzma, unlzma, 7z, 7za, zcat, bzcat, lzcat, split, gpg, or wrong permissions.
$

Monitoring-Modus von progress

[21040] gzip /home/abe/Images/Raspberry_Pi/9pi.img.gz
        66.0% (80.4 MiB / 121.8 MiB) 40.0 MiB/s remaining 0:00:01
$

Ergänzungen von bisherigen Zuhörern dieses Vortrages

q (python3-q-text-as-data oder python-q-text-as-data): Text mit SQL-artigen Abfragen auswerten
TL;DR: Community, die vereinfachte und um praktische Beispiele erweiterte Man-Pages bzw. Dokumentation bereitstellt.
- https://tldr.sh/
- TL;DR Clients:
  - Python (tldr-py): https://github.com/lord63/tldr.py
  - Haskell (tldr): https://github.com/psibi/tldr-hs
  - Perl (nicht für Debian paketiert): https://metacpan.org/release/App-tldr

Schatzsuche. Weniger Bekannte Linux-Werkzeuge

Worüber ist unser Vortrag

Wer wir sind

Was wir hier tun

Über die Liste der Werkzeuge

`fmt` (coreutils)

`fold` (coreutils)

`column` (bsdmainutils)

`comm` (coreutils)

`join` (coreutils)

`paste` (coreutils)

`rev` (util-linux)

`tac` (coreutils)

`shuf` (coreutils) und `unsort` (unsort)

`expand` und `unexpand` (coreutils)

`numfmt` (coreutils)

`timeout` (coreutils) und `timelimit` (timelimit)

`sponge` (moreutils)

Status- und Fortschrittsbalken: Übersicht

Durchflußmesser

Messung anhand von Lese- oder Schreibposition

`pv` (pv) + `pipemeter` (pipemeter) + `bar` (bar)

`dd` (coreutils)

`cpipe` (cpipe)

`progress` (progress)

Ergänzungen von bisherigen Zuhörern dieses Vortrages

Links

Schatzsuche. Weniger Bekannte Linux-Werkzeuge

Worüber ist unser Vortrag

Wer wir sind

Was wir hier tun

Über die Liste der Werkzeuge

fmt (coreutils)

fold (coreutils)

column (bsdmainutils)

comm (coreutils)

join (coreutils)

paste (coreutils)

rev (util-linux)

tac (coreutils)

shuf (coreutils) und unsort (unsort)

expand und unexpand (coreutils)

numfmt (coreutils)

timeout (coreutils) und timelimit (timelimit)

sponge (moreutils)

Status- und Fortschrittsbalken: Übersicht

Durchflußmesser

Messung anhand von Lese- oder Schreibposition

pv (pv) + pipemeter (pipemeter) + bar (bar)

dd (coreutils)

cpipe (cpipe)

progress (progress)

Ergänzungen von bisherigen Zuhörern dieses Vortrages

Links

`fmt` (coreutils)

`fold` (coreutils)

`column` (bsdmainutils)

`comm` (coreutils)

`join` (coreutils)

`paste` (coreutils)

`rev` (util-linux)

`tac` (coreutils)

`shuf` (coreutils) und `unsort` (unsort)

`expand` und `unexpand` (coreutils)

`numfmt` (coreutils)

`timeout` (coreutils) und `timelimit` (timelimit)

`sponge` (moreutils)

`pv` (pv) + `pipemeter` (pipemeter) + `bar` (bar)

`dd` (coreutils)

`cpipe` (cpipe)

`progress` (progress)