Eigenen Mirror erstellen: Unterschied zwischen den Versionen

pacman -S rsync vsftpd

useradd -m -s /bin/false mirror

$ cd /home/mirror
$ su
# mkdir scripts files logs
# chown mirror:users scripts files logs

#!/bin/bash
#
# The script to sync a local mirror of the Arch Linux repositories and ISOs
#
# Copyright (C) 2007 Woody Gilk <woody@archlinux.org>
# Modifications by Dale Blount <dale@archlinux.org>
# and Roman Kyrylych <roman@archlinux.org>
# Comments translated to German by Dirk Sohler <dirk@0x7be.de>
# Licensed under the GNU GPL (version 2)

# Speicherorte für den Synchronisationsvorgang
SYNC_HOME="/home/mirror"
SYNC_LOGS="$SYNC_HOME/logs"
SYNC_FILES="$SYNC_HOME/files"
SYNC_LOCK="$SYNC_HOME/mirrorsync.lck"

# Auswahl der zu synchronisierenden Repositorys
# Gültige Optionen sind: core, extra, testing, community, iso
# Leer lassen, um den gesammten Mirror zu synchronisieren
# SYNC_REPO=(core extra testing community iso)
SYNC_REPO=()

# Server, von dem synchronisiert werden soll
# Nur offizielle, öffentliche Mirrors dürfen rsync.archlinux.org verwenden
# SYNC_SERVER=rsync.archlinux.org::ftp
SYNC_SERVER=rsync.selfnet.de::archlinux
# An dieser Stelle weicht die Lokalisierte Version des Scripts von der
# Originalversion ab, da der Mirror in der Originalversion seit einigen
# Tagen nicht mehr synchronisiert wurde, und daher nur alte Pakete
# bereit stellte. Selfnet hat eine Quota von 50 GB fullspeed am Tag, und
# wird danach auf 16 KByte/s runtergestuft.

# Format des Logfile-Namens
# Das beispiel gibt etwas wie „sync_20091019-3.log“ aus
LOG_FILE="pkgsync_$(date +%Y%m%d-%H).log"

# Die nachfolgenden Zeilen verhindern, dass dieses Script mehrmals
# gleichzeitig ausgeführt wird, und sollten daher nicht geändert werden
if [ ! -d $SYNC_HOME ]; then
  echo "$SYNC_HOME does not exist, please create it, then run this script again."
  exit 1
fi

[ -f $SYNC_LOCK ] && exit 1
touch "$SYNC_LOCK"
# Ende des Blocks, der nicht bearbeitet werden sollte

# Logfile anlegen und Timestamp einfügen
touch "$SYNC_LOGS/$LOG_FILE"
echo "=============================================" >> "$SYNC_LOGS/$LOG_FILE"
echo ">> Starting sync on $(date --rfc-3339=seconds)" >> "$SYNC_LOGS/$LOG_FILE"
echo ">> ---" >> "$SYNC_LOGS/$LOG_FILE"

if [ -z $SYNC_REPO ]; then
  # Sync a complete mirror
  rsync -rptlv \
        --delete-after \
        --safe-links \
        --max-delete=1000 \
        --copy-links \
        --delay-updates $SYNC_SERVER "$SYNC_FILES" \
        >> "$SYNC_LOGS/$LOG_FILE"
else
  # Alle Repositorys synchronisieren, die in $SYNC_REPO angegeben wurden
  for repo in ${SYNC_REPO[@]}; do
    repo=$(echo $repo | tr [:upper:] [:lower:])
    echo ">> Syncing $repo to $SYNC_FILES/$repo" >> "$SYNC_LOGS/$LOG_FILE"

    # Wenn man nur i686-Pakete synchronisieren will, kann man in dem
    # rsync-Aufruf dies nach „--delete-after“ inzufügen:
    # „ --exclude=os/x86_64“
    # 
    # Will man stattdessen nur die x86_64-Pakete synchronisieren, verwendet
    # man stattdessen „--exclude=os/i686“
    #
    # Will man beide Architekturen auf dem eigenen Mirror anbieten, lässt
    # den rsync-Aufruf einfach, wie er ist
    #
    rsync -rptlv \
          --delete-after \
          --safe-links \
          --max-delete=1000 \
          --copy-links \
          --delay-updates $SYNC_SERVER/$repo "$SYNC_FILES" \
          >> "$SYNC_LOGS/$LOG_FILE"

    # Erstellt eine Datei „$repo.lastsync“, die den Timestamp der synchronisation
    # beinhaltet (z. B. „2009-10-19 03:14:28+02:00“). Dies kann nützlich sein,
    # um einen Hinweis darauf zu haben, wann der eigene Mirror zuletzt mit
    # dem angegebenen Mirror abgeglichen wurde. Zum Verwenden einkommentieren.
    # date --rfc-3339=seconds > "$SYNC_FILES/$repo.lastsync"

    # Nach jedem Repository fünf Sekunden warten, um zu viele gleichzeitige 
    # Verbindungen zum rsync-Server zu verhindern, fall die Verbindung nach
    # dem synchronisieren des vorherigen Repositorys vom Server nicht
    # zeitig geschlossen wurde
    sleep 5 
  done
fi

# Weiteren Timestamp ins Logfile schreiben, und es schließen
echo ">> ---" >> "$SYNC_LOGS/$LOG_FILE"
echo ">> Finished sync on $(date --rfc-3339=seconds)" >> "$SYNC_LOGS/$LOG_FILE"
echo "=============================================" >> "$SYNC_LOGS/$LOG_FILE"
echo "" >> "$SYNC_LOGS/$LOG_FILE"

# Die lock-Datei zum Sperren des Script-Durchlaufs löschen und das
# Script beenden
rm -f "$SYNC_LOCK"
exit 0

# /etc/systemd/system/archmirror.service
[Unit]
Description=running archmirror sync
[Service]
User=mirror
Type=simple
ExecStart=/home/mirror/scripts/mirrorsync.sh
[Install]
WantedBy=multi-user.target

# /etc/systemd/system/archmirror.timer
[Unit]
Desciption=run archmirror sync every hour
[Timer]
OnBootSec=10min
OnUnitActiveSec=1h
Unit=archmirror.service
[Install]
WantedBy=multi-user.target

NEXT                        LEFT         LAST                        PASSED       UNIT                         ACTIVATES
Sa 2015-10-31 11:15:09 UTC  41min left   Sa 2015-10-31 10:15:09 UTC  18min ago    archmirror.timer             archmirror.service

Server = file:///home/mirror/files/$repo/os/x86_64

# User, mit dessen Rechten der Server laufen soll
nopriv_user=mirror

# Username für den anonymen Login, identisch mit nopriv_user
ftp_username=mirror

# Das Startverzeichnis für den anonymen User
anon_root=/home/mirror/files

# Weitere Konfiguration 
listen=YES
tcp_wrappers=YES
use_localtime=YES
hide_ids=YES
anonymous_enable=YES
no_anon_password=YES
ls_recurse_enable=YES
idle_session_timeout=120
data_connection_timeout=30

vsftpd : ALL : ALL

/etc/rc.d/vsftpd start

Server = ftp://192.168.1.21/$repo/os/x86_64
# Server = ftp://hostname/$repo/os/x86_64
# Server = ftp://localhost/$repo/os/x86_64

su -c "mirror /home/mirror/scripts/mirrorsync.sh"

tail -f logs/pkgsync_20091015-7.log

@@ Zeile 150: / Zeile 150: @@
 == Regelmäßiges Synchronisieren ==
-{{hinweis|Sollte noch kein [[Cron]]-Daemon installiert sein, so muss dies erst gemacht werden. Die Anleitung dazu bietet der Artikel zu Cron hier im Wiki.}}
+Um den Mirror regelmäßig zu Synchronisieren benutzen wir [[Systemd]]
-Die Crontab für den durch {{ic|/bin/false}} als Shell stark eingeschränkten user wird unter {{ic|scripts/mirror.cron}} angelegt. und direkt mit einer Zeile gefüllt.
- echo "0 3 * * * /home/mirror/scripts/mirrorsync.sh" > scripts/mirror.cron
+Wir benötigen zum einen die klassische {{ic|.service}} Datei um das Skript mit den passenden Argumenten zu starten.
- chown mirror:users scripts/mirror.cron
- crontab -u mirror scripts/mirror.cron
-Hiermit wird über den root-Account als User {{ic|mirror}} die Crontab eingerichtet, und dabei {{ic|scripts/mirror.cron}} verwendet. Zum überprüfen, ob das funktioniert hat, kann man {{ic|crontab -l}} verwenden.
+Dies könnte so aussehen:
-{{hc|crontab -u mirror -l |0 3 * * * /home/mirror/scripts/mirrorsync.sh}}
+ # /etc/systemd/system/archmirror.service
+ [Unit]
+ Description=running archmirror sync
+ [Service]
+ User=mirror
+ Type=simple
+ ExecStart=/home/mirror/scripts/mirrorsync.sh
+ [Install]
+ WantedBy=multi-user.target
-Wenn es so aussieht, wie im Beispiel, ist alles in Ordnung. Dieser Cronjob führt das Synchronisationsscript nachts um drei Uhr aus. Will man die Crontab bearbeiten, so verwendet man {{ic|crontab -e -u mirror}}. Stattdessen kann man auch {{ic|scripts/mirror.cron}} direkt bearbeiten, muss dann aber mittels {{ic|crontab -u mirror scripts/mirror.cron}} die Crontab manuell neu einlesen.
+Hier muss ggf. der User und/oder der Ort des Skriptes angepasst werden.
+Zusätzlich brauchen wir das {{ic|.timer}}. Mit diesem regeln wir den Zeitlichen Ablauf des Skriptes.
+ # /etc/systemd/system/archmirror.timer
+ [Unit]
+ Desciption=run archmirror sync every hour
+ [Timer]
+ OnBootSec=10min
+ OnUnitActiveSec=1h
+ Unit=archmirror.service
+ [Install]
+ WantedBy=multi-user.target
+Zehn Minuten nach dem Start des System beginnt der erste Durchlauf. Sobald das Skript beendet wurde beginnt der Countdown von einer Stunde.
+Nachdem die Systemd Dateien angelegt wurden muss einmalig {{ic|systemctl daemon-reload}} ausgeführt werden um die Änderungen einzulesen. Dies muss auch nach Änderungen an schon bestehenden Dateien durchgeführt werden. Näheres dazu findet man aber auch unter [[Systemd]]
+Um uns über den aktuellen Stand zu informieren können wir {{ic|systemctl list-timers}} benutzen. Dies liefert uns eine Ausgabe die, je nach System und Anzahl der Timer, so aussehen sollte:
+ NEXT                        LEFT         LAST                        PASSED       UNIT                         ACTIVATES
+ Sa 2015-10-31 11:15:09 UTC  41min left   Sa 2015-10-31 10:15:09 UTC  18min ago    archmirror.timer             archmirror.service
+Mit {{ic|systemctl status archmirror}} können wir uns auch eine kurze Statusübersicht anzeigen lassen. Wer es etwas ausführlicher mag, kann {{ic|journalctl -u archmirror}} benutzen.
+Durch die Nutzung von Systemd ist es auch nicht mehr notwendig ein seperates LOCK-File anzulegen. Systemd kümmert sich automatisch darum, immer nur eine Instanz des Skriptes zu starten. Es empfiehlt sich daher, die entsprechenden Zeilen aus dem Skript zu entfernen.
 == Konfiguration von Pacman ==

Eigenen Mirror erstellen: Unterschied zwischen den Versionen

Version vom 31. Oktober 2015, 11:39 Uhr

Vorbereitungen

Synchronisationsscript

Regelmäßiges Synchronisieren

Konfiguration von Pacman

Rein lokaler Mirror

Mirror auf eigenem Server

Die erste Synchronisation

Siehe auch

Weblinks