AWS : Mount eines S3 Buckets unter Debian

Installation des benötigten Packetes auf der Debian Kiste.
apt install s3fs
Erstellen einer Passwort Datei im Home Directory
touch ~/.passwd-s3fs
echo "accessKeyId:secretAccessKey" > ~/.passwd-s3fs
Wenn mehrere Amazon S3 Buckets verwendet werden müssen kann auch der Name des Buckets vor den Zugangsdaten hinzugefügt werden.
echo "bucketName:accessKeyId:secretAccessKey" > ~/.passwd-s3fs
Da hier sensible Zugangsdaten in der Datei stehen müssen die Rechte auf 600 geändert werden !
chmod 600 ~/.passwd-s3fs
Wenn alles richtig ist kann das Amazon S3 Buckets gemountet werden
s3fs [BUCKET-NAME] [MOUNT-POINT]
Der Eintrag für /etc/fstab sieht dann so aus, hier ist debug noch aktiv. Das sollte für einen Betrieb in der Produktion deaktiviert werden.
# MOUNT S3 MIT DEBUG
[BUCKET-NAME] [MOUNTPOINT] fuse.s3fs _netdev,allow_other,dbglevel=dbg,curldbg 0 0
# MOUNT S3 OHNE DEBUG
[BUCKET-NAME] [MOUNTPOINT] fuse.s3fs _netdev,allow_other 0 0

Quellen :
https://cloud.netapp.com/blog/amazon-s3-as-a-file-system
https://github.com/s3fs-fuse/s3fs-fuse/wiki/Fuse-Over-Amazon

Kommentare

Ansicht der Kommentare: Linear | Verschachtelt

Ricardo C. am :

Hallo,

kann mir einer seine Erfahrungswerte bezüglich s3fs in einer Produktiv-Umgebung mitteilen.
Wir wollen auf S3 ausschließlich Content wie Bilder und Videos parken.

Also keine Dateien die permanent in Verwendung sind.
Unsere Erfahrung aktuell ist, dass der File Gateway von AWS hierfür nicht ganz so gut geeignet ist, da bei einem reinen S3 Update sich der Cache des File Gateways nicht aktualisiert. Auch das Thema Fail-Over ist bei File Gateway nicht gut und wäre über s3fs erst gar kein Thema.

Viele Grüße
Ricardo

Christopher Pope am :

Hallo wir standen auch vor der Wahl S3 oder EFS und haben uns für das EFS entschieden. Bei uns liegt das allerdings daran das verschiedene Kisten lese/schreib Zugriff benötigen. Du könntest aber auf dem S3 auch eine policy schalten das dieses public readable ist : https://www.devroom.io/2010/12/24/public-readable-amazon-s3-bucket-policy/.

Dann kannst du deine Bilder & Videos dort parken und einfach einbinden.

Das File Gateway bzw Storage Gateway würde ich da ganz raus lassen.

Ricardo C. am :

Hallo Christopher,

danke für die Antwort. Aber bei der Menge die wir benötigen, wäre EFS viel zu teuer.
Werden nun S3FS verwenden.

Kommentar schreiben

Umschließende Sterne heben ein Wort hervor (*wort*), per _wort_ kann ein Wort unterstrichen werden.
Standard-Text Smilies wie :-) und ;-) werden zu Bildern konvertiert.
Die angegebene E-Mail-Adresse wird nicht dargestellt, sondern nur für eventuelle Benachrichtigungen verwendet.
Um einen Kommentar hinterlassen zu können, erhalten Sie nach dem Kommentieren eine E-Mail mit Aktivierungslink an ihre angegebene Adresse.
“Wenn du dir die Anwender deiner Programme als Idioten vorstellst, werden auch nur Idioten deine Programme verwenden.”
Linus Torvalds