Eigenen Mirror erstellen: Unterschied zwischen den Versionen

pacman -S rsync vsftpd

useradd -m -s /bin/false mirror

$ cd /home/mirror
$ su
# mkdir scripts files logs
# chown mirror:users scripts files logs

#!/bin/bash
#
# The script to sync a local mirror of the Arch Linux repositories and ISOs
#
# Copyright (C) 2007 Woody Gilk <woody@archlinux.org>
# Modifications by Dale Blount <dale@archlinux.org>
# and Roman Kyrylych <roman@archlinux.org>
# Comments translated to German by Dirk Sohler <dirk@0x7be.de>
# Licensed under the GNU GPL (version 2)

# Speicherorte für den Synchronisationsvorgang
SYNC_HOME="/home/mirror"
SYNC_LOGS="$SYNC_HOME/logs"
SYNC_FILES="$SYNC_HOME/files"
SYNC_LOCK="$SYNC_HOME/mirrorsync.lck"

# Auswahl der zu synchronisierenden Repositorys
# Gültige Optionen sind: core, extra, testing, iso
# Leer lassen, um den gesammten Mirror zu synchronisieren
# SYNC_REPO=(core extra testing iso)
SYNC_REPO=()

# Server, von dem synchronisiert werden soll
# Nur offizielle, öffentliche Mirrors dürfen rsync.archlinux.org verwenden
# SYNC_SERVER=rsync.archlinux.org::ftp
# Der selvnet.de Server kann nicht aufgelößt werden.
# SYNC_SERVER=rsync.selfnet.de::archlinux
# Daher nun der erste rsync Server von folgender Liste: https://www.archlinux.org/mirrors/status/
# Funktioniert Stand 04.10.2020
SYNC_SERVER=rsync://mirror.liteserver.nl/archlinux/
# An dieser Stelle weicht die Lokalisierte Version des Scripts von der
# Originalversion ab, da der Mirror in der Originalversion seit einigen
# Tagen nicht mehr synchronisiert wurde, und daher nur alte Pakete
# bereit stellte. Selfnet hat eine Quota von 50 GB fullspeed am Tag, und
# wird danach auf 16 KByte/s runtergestuft.

# Format des Logfile-Namens
# Das beispiel gibt etwas wie „sync_20091019-3.log“ aus
LOG_FILE="pkgsync_$(date +%Y%m%d-%H).log"

# Logfile anlegen und Timestamp einfügen
touch "$SYNC_LOGS/$LOG_FILE"
echo "=============================================" >> "$SYNC_LOGS/$LOG_FILE"
echo ">> Starting sync on $(date --rfc-3339=seconds)" >> "$SYNC_LOGS/$LOG_FILE"
echo ">> ---" >> "$SYNC_LOGS/$LOG_FILE"

if [ -z $SYNC_REPO ]; then
  # Sync a complete mirror
  rsync -rptlv \
        --delete-after \
        --safe-links \
        --max-delete=1000 \
        --copy-links \
        --delay-updates $SYNC_SERVER "$SYNC_FILES" \
        >> "$SYNC_LOGS/$LOG_FILE"
else
  # Alle Repositorys synchronisieren, die in $SYNC_REPO angegeben wurden
  for repo in ${SYNC_REPO[@]}; do
    repo=$(echo $repo | tr [:upper:] [:lower:])
    echo ">> Syncing $repo to $SYNC_FILES/$repo" >> "$SYNC_LOGS/$LOG_FILE"

    # Wenn man nur i686-Pakete synchronisieren will, kann man in dem
    # rsync-Aufruf dies nach „--delete-after“ inzufügen:
    # „ --exclude=os/x86_64“
    # 
    # Will man stattdessen nur die x86_64-Pakete synchronisieren, verwendet
    # man stattdessen „--exclude=os/i686“
    #
    # Will man beide Architekturen auf dem eigenen Mirror anbieten, lässt
    # den rsync-Aufruf einfach, wie er ist
    #
    rsync -rptlv \
          --delete-after \
          --safe-links \
          --max-delete=1000 \
          --copy-links \
          --delay-updates $SYNC_SERVER/$repo "$SYNC_FILES" \
          >> "$SYNC_LOGS/$LOG_FILE"

    # Erstellt eine Datei „$repo.lastsync“, die den Timestamp der synchronisation
    # beinhaltet (z. B. „2009-10-19 03:14:28+02:00“). Dies kann nützlich sein,
    # um einen Hinweis darauf zu haben, wann der eigene Mirror zuletzt mit
    # dem angegebenen Mirror abgeglichen wurde. Zum Verwenden einkommentieren.
    # date --rfc-3339=seconds > "$SYNC_FILES/$repo.lastsync"

    # Nach jedem Repository fünf Sekunden warten, um zu viele gleichzeitige 
    # Verbindungen zum rsync-Server zu verhindern, fall die Verbindung nach
    # dem synchronisieren des vorherigen Repositorys vom Server nicht
    # zeitig geschlossen wurde
    sleep 5 
  done
fi

# Weiteren Timestamp ins Logfile schreiben, und es schließen
echo ">> ---" >> "$SYNC_LOGS/$LOG_FILE"
echo ">> Finished sync on $(date --rfc-3339=seconds)" >> "$SYNC_LOGS/$LOG_FILE"
echo "=============================================" >> "$SYNC_LOGS/$LOG_FILE"
echo "" >> "$SYNC_LOGS/$LOG_FILE"

# Die lock-Datei zum Sperren des Script-Durchlaufs löschen und das
# Script beenden
rm -f "$SYNC_LOCK"
exit 0

/etc/systemd/system/archmirror.service
[Unit]
Description=running archmirror sync
[Service]
User=mirror
Type=simple
ExecStart=/home/mirror/scripts/mirrorsync.sh
[Install]
WantedBy=multi-user.target
/etc/systemd/system/archmirror.timer
[Unit]
Description=run archmirror sync every hour
[Timer]
OnBootSec=10min
OnUnitActiveSec=1h
Unit=archmirror.service
[Install]
WantedBy=multi-user.target
NEXT                        LEFT         LAST                        PASSED       UNIT                         ACTIVATES
Sa 2015-10-31 11:15:09 UTC  41min left   Sa 2015-10-31 10:15:09 UTC  18min ago    archmirror.timer             archmirror.service

Server = file:///home/mirror/files/$repo/os/x86_64

# User, mit dessen Rechten der Server laufen soll
nopriv_user=mirror

# Username für den anonymen Login, identisch mit nopriv_user
ftp_username=mirror

# Das Startverzeichnis für den anonymen User
anon_root=/home/mirror/files

# Weitere Konfiguration 
listen=YES
tcp_wrappers=YES
use_localtime=YES
hide_ids=YES
anonymous_enable=YES
no_anon_password=YES
ls_recurse_enable=YES
idle_session_timeout=120
data_connection_timeout=30

vsftpd : ALL : ALL

/etc/rc.d/vsftpd start

Server = ftp://192.168.1.21/$repo/os/x86_64
# Server = ftp://hostname/$repo/os/x86_64
# Server = ftp://localhost/$repo/os/x86_64

su -c "mirror /home/mirror/scripts/mirrorsync.sh"

tail -f logs/pkgsync_20091015-7.log

@@ Zeile 3: / Zeile 3: @@
 Ein Großteil aller Arch-Nutzer wird dies nie benötigen. Es ist nur sinnvoll, einen eigenen Mirror zu betrieben, wenn man sehr viele Arch-Installationen versorgen will, oder wenn man selbst einen eigenen, offiziellen Mirror anbieten möchte.
-Für den Heimgebrauch mit nur wenigen Rechnern eignet sich ein im Netzwerk geteilter Pacman-Cache eventuell besser. Auch existiert mit [http://xyne.archlinux.ca/projects/pacserve/ pacserve] {{sprache|en}} eine einfache Möglichkeit, den Cache im LAN zu verteilen, ohne einen zentralen Cache verwalten zu müssen.
+Für den Heimgebrauch mit nur wenigen Rechnern eignet sich ein im Netzwerk geteilter Pacman-Cache eventuell besser. Auch existiert mit [https://xyne.dev/projects/pacserve/ pacserve] {{sprache|en}} eine einfache Möglichkeit, den Cache im LAN zu verteilen, ohne einen zentralen Cache verwalten zu müssen.
 Aufgrund der Tatsache, dass das Synchronisieren eines kompletten Repositorys viel Traffic verursacht, ist es nur offiziellen Mirrors gestattet, direkt von rsync.archlinux.org zu synchronisieren. Will man einen offiziellen Mirror betreiben, muss man sich auf der Arch-Mailingliste melden.
@@ Zeile 51: / Zeile 51: @@
   # Auswahl der zu synchronisierenden Repositorys
-  # Gültige Optionen sind: core, extra, testing, community, iso
+  # Gültige Optionen sind: core, extra, testing, iso
   # Leer lassen, um den gesammten Mirror zu synchronisieren
-  # SYNC_REPO=(core extra testing community iso)
+  # SYNC_REPO=(core extra testing iso)
   SYNC_REPO=()
@@ Zeile 138: / Zeile 138: @@
   exit 0
-Das Script muss natürlich an die eigenen Bedürfnisse angepasst werden. Gerade bei der Auswahl der Architekturen und Repositorys sollte man tatsächlich auch nur das angeben, was man selbst wirklich benötigt. Ein x86_64-Mirror mit den Repositorys „core“, „extra“ und „community“ umfasst etwa 15 Gigabyte.
+Das Script muss natürlich an die eigenen Bedürfnisse angepasst werden. Gerade bei der Auswahl der Architekturen und Repositorys sollte man tatsächlich auch nur das angeben, was man selbst wirklich benötigt. Ein x86_64-Mirror mit den Repositorys „core“ und „extra“ umfasst etwa 15 Gigabyte.
 Für jeden Mirror-Vorgang wird ein Logfile angelegt. Damit die Logfiles nicht überhand nehmen, sollte man zum beispiel LogRotate einrichten, oder aber ein Aufräumscript laufen lassen, wenn man sich nicht manuell um die Logfiles kümmern möchte.
@@ Zeile 215: / Zeile 215: @@
   data_connection_timeout=30
-Der so konfigurierte Server ist sehr sicher. Man braucht für den zugriff kein Passwort, und sollte daher nicht öffentlich zugänglich sein (außer, das ist beabsichtigt, weil man einen öffentlichen Mirror anbieten will). Einschrängen kann man den Zugriff beispielsweise über die Datei {{ic|/etc/hosts.allow}} oder Portforwarding-Regeln auf dem Router.
+Der so konfigurierte Server ist sehr sicher. Man braucht für den zugriff kein Passwort, und sollte daher nicht öffentlich zugänglich sein (außer, das ist beabsichtigt, weil man einen öffentlichen Mirror anbieten will). Einschränken kann man den Zugriff beispielsweise über die Datei {{ic|/etc/hosts.allow}} oder Portforwarding-Regeln auf dem Router.
 Der Passwortschutz für den FTP-Zugang zum Mirror bei gleichzeitiger Funktionalität als normaler, mit Pacman abrufbarer Mirror wird in diesem Artikel nicht behandelt.

Eigenen Mirror erstellen: Unterschied zwischen den Versionen

Aktuelle Version vom 24. Mai 2023, 18:36 Uhr

Vorbereitungen

Synchronisationsscript

Regelmäßiges Synchronisieren

Konfiguration von Pacman

Rein lokaler Mirror

Mirror auf eigenem Server

Die erste Synchronisation

Siehe auch

Weblinks