#Proxmox, NAS, ZFS, IOMMU Gruppen, virtuelle Disks....es ist kompliziert

1 messages · Page 1 of 1 (latest)

latent skiff
#

Moin,
ich hab hier wieder Dinge vor und hab mich irgendwie verlaufen. Vielleicht kann ja jemand helfen harold
Folgende Situation: Ich habe einen Proxmox Server mit einem Asus Prime B550M-A und einem 5700X.
Zwei Sata SSDs je 500 GB, auf denen ist Proxmox installiert auf nem ZFS Raid.
Zwei M.2 SSDs je 2 TB, die sollen als Datenspeicher für ein NAS dienen.

Nun war der ursprüngliche Plan, TrueNAS in einer VM zu installieren und die beiden M.2 SSDs direkt als Geräte in die VM durchzureichen. Damit hätte TrueNAS ja vollen zugriff, kann seinen ZFS Kram da drauf machen usw. Nur geht das nicht so wie ich mir das gedacht habe, weil einer der beiden M.2 Slots sich diese IOMMU Gruppen mit anderen Geräten teilt (unter anderem dem Ethernet Controller, USB Controller und noch mehr). Es wird also die ganze Gruppe durchgereicht und dann geht natürlich gar nix mehr harold
Dann dachte ich, gut, kaufste halt so ne PCIe M.2 Adapter Karte, steckst da beide M.2 drauf, sind die hübsch zusammen auf einer Karte. Nein, nix da, Board kann natürlich kein bifurcation facepalm
Egal, würde ja auch reichen nur eine M.2 da rein zu packen. Sollte ja denke ich genauso gehen. Aber das Board hat nur einen einzigen x16 und zwei x1 Slots, den x16 wollte ich mir eigendlich frei halten, falls ich mal ne Grafikkarte einbauen muss weil sich irgendwas zerschossen hat oder was auch immer. Kann ja mal sein.

Der alternative Idee war, die M.2 SSDs in Proxmox zu nem ZFS Dings zu machen, in dem ZFS dann eine virtuelle Disk zu erstellen und die dann als Disk in eine VM einzubinden. Das funktioniert und wäre jetzt wohl das einfachste. Ich weiß aber nicht, ob das wirklich so sinnvoll und zuverlässig ist. Funktionieren damit trotzdem die ZFS Funktionen mit den Checksummen prüfen usw was er da macht, wenn da einfach nur eine fette virtuelle Disk drauf liegt? monkaHmm

#

Muss hier weiter schreiben, Zeichenbegrenzung. harold

Noch eine Idee war, die aber ziemlich sicher ziemlich dumm ist, ZFS mit Proxmox erstellen, virtuelle Disk drauf und in der virtuellen Disk wieder ein ZFS. Aber ich denke dass das ziemlich blöd wäre, weil ZFS da ja gar kein vollen Zugriff auf die SSDs hat. Also unnötig.

Ich bin auch gar nicht so scharf drauf TrueNAS zu verwenden. Ich will da nur Daten ablegen, alles andere was TrueNAS noch so kann brauche ich nicht. Aber ZFS wäre ja schon ganz nett. Das wäre mit dem Durchreichen in eine TrueNAS VM halt nur schön einfach gewesen.

Was würdet ihr machen? Was wäre am sinnvollsten?

dreamy solar
#

bei mir mit intel konnte ich jede einzelne SSD die ich per NVME oder PCIE NVME adapter eingebunden hatte an die VM weiter reichen

#

hier dann das raw device auswählen

2025-05-19_23h02_27.png
latent skiff
#

Auf meinem alten Board mit nem i7 7700K ging das meine ich auch. Bei dem neuen gehts nicht. Teilt sich halt diese IOMMU Gruppe mit Ethernet Controller, USB usw, was dann alles mit durchgereicht wird und dabei natürlich Proxmox selber die ganze Hardware wegnimmt lul

dreamy solar
#

ich hab i5 10500 nun am laufen ja

latent skiff
#

Sieht man hier. Die eine M.2 ist in einer Gruppe für sich alleine, die Gruppe 13. Die kann ich auch durchreichen. Die zweite ist in Gruppe 14 mit anderen Dingen. Wenn ich die durchreiche, wird alles was in Gruppe 14 ist auch durchgereicht

Bildschirmfoto_20250519_195714.png
#

Und dann ist Proxmox auf der Stelle tot, weil er selber ja auf den Sata SSDs läuft KEKW

dreamy solar
#

jetzt weiß ich was du meinst .. gut ich hatte glück die hatten wohl alle ne eigene gruppe 😄

#

ich hab proxmox ganz frech auf so nen x1 NVME Adapter gepackt

#

also PCIe adapter

#

kompltter sata controller ist in truenas drin bei mir

#

und halt die einzel NVMEs die davor auch drin waren ( cache und apps)

#

aber tbh hab ich auch kein raid für mein proxmox host drive

latent skiff
#

Ich hab vorhin mal testweise eine Grafikkarte und eine WLAN Karte eingebaut, um mal zu sehen ob der x16 und die beiden x1 Slots auch irgendwelche Gruppen sich teilen. Der x16 Slot ist zum glück für sich alleine, also mit einer M.2 Adapter Karte würde es wohl gehen. Die x1 Slots kann ich ebenfalls nicht durchreichen, die sind in der gleichen Gruppe wie der eine M.2 Slot.
Die 1080 Ti war hier dann in Gruppe 16 für sich alleine

image.png
dreamy solar
#

könntest maybe dein bios mal aufmachen mitm tool und schauen ob bifurcation hide ist einfach nur

latent skiff
#

Das was vorher Gruppe 14 war ist jetzt 15, da ist die Wifi karte mit drin zu sehen

#

Du meinst das BIOS modden? Uff ne harold

#

Ich bräuchte das ja auch nicht. Der eine M.2 Slot hat ja eine Gruppe für sich. Die andere M.2 müsste dann in eine PCie Adapter Karte. Dann würde es ja gehen

#

Nervt mich nur in meinem Kopf, dass die beiden SSDs unterschiedlich verbaut sind KEKW

dreamy solar
#

gibt doch auch so m2 karten für x16 mit nem PLX chip das wäre maybe noch ne idee

#

aber die dinger sind glaub auch stromhungrig

latent skiff
#

Kein Plan was das ist aber hört sich nicht so an als wäre das für mich interessant harold

dreamy solar
latent skiff
#

Achso

#

ne das lassen wir besser

dreamy solar
#

aber auf der karte eben

#

sieht man hier schön an den lanes 😄

2025-05-19_23h12_41.png
latent skiff
#

Ich hab eben eine ausführliche Unterhaltung mit ChatGPT gehabt zu dem Thema. Ich weiß, der redet auch sehr viel unfug, aber das scheint erstmal plausibel. Er meinte, das einfachste wäre halt bei Proxmox ein ZFS Pool zu erstellen und darauf dann eine virtuelle Disk, er hats zvol genannt, in die VM einbinden. Aber er meint halt auch, alles was in der VM an Daten dann da drauf liegt, profitiert halt nicht von dem was ZFS mit den Checksummen usw immer prüft. Das wäre doof

latent skiff
dreamy solar
#

sollte man halt auch nicht machen bei ZFS hießt es auch immer zu mir 😄

dreamy solar
latent skiff
#

Deswegen bin ich jetzt kurz davor so ne einfache M.2 PCIe Adapter Karte zu kaufen, TrueNAS VM installieren, die beiden M.2 direkt da rein und dann TrueNAS das regeln lassen, so wie ich es anfangs mal gedacht hatte pepehm

dreamy solar
#

und wo willst die m2 karte stecken ? in den x16 ?

latent skiff
#

Ja was anderes bleibt nicht

#

Ich wollte den eigendlich für notfälle frei halten für ne GPU

#

Aber geht halt nicht harold

#

Hab halt nur son mATX Board gekauft. Dachte mir so klein reicht ja, spart vielleicht auch minimal Strom. Meh, hab ich jetzt davon pepesad

dreamy solar
#

und anderes board schießen maybe ? 😄

latent skiff
#

Die beiden x1 Slots kann ich nicht durchreichen, teilen sich auch die Gruppen, zudem wäre die bei x1 ja auch deutlich langsamer angebunden

latent skiff
dreamy solar
#

ja die x1 hab ich auch nur als proxmox OS am laufen , die knapp 1gigabyte pro sek was der kann reicht , genauso für cache laufewerk und apps für truenas

dreamy solar
latent skiff
#

Wenn ich tatsächlich doch schon wieder ein neues Board kaufen sollte, würde ich gerne vorher irgendwie sehen wollen wie diese IOMMU Gruppen verteilt sind, aber kein Plan wo man sowas nachsehen kann

latent skiff
#

Wobei das natürlich egal wäre, wenn der Slot nur für eine GPU in Notfällen genutzt werden würde

#

Dann interessieren die Gruppen ja nicht

dreamy solar
#

haste mal geguckt obs maybe möglich ist die gruppen zu ändern ?

latent skiff
#

Man kann da wohl bei einigen Boards was aktivieren um die aufzusplitten, soll aber wohl ne wackelige Angelegenheit sein

#

Das lasse ich lieber

#

Und ich hab glaube ich so ziemlich das billigste Board gekauft, das kann gefühlt garnix

dreamy solar
#

da bin ich echt froh das es bei mir plug and play war jetzt O.o

latent skiff
#

Das is auch nur eines von wenigen Asus Boards mit dem Sockel das kein bifurcation kann. Die meisten anderen Boards können das harold

dreamy solar
#

was ist den dieses mapped device ding , kannst damit was basteln ?

latent skiff
#

Da is gar nichts drin

#

Keine Ahnung was das ist

dreamy solar
#

ich hatte echt glück mit meinem gruppen ey harold

2025-05-19_23h22_45.png
latent skiff
#

Vielleicht ist das bei Intel ja auch besser als bei AMD pepe_shrug

#

Oder es ist vom Mainboard abhängig

#

Ich hab kein Plan

#

ChatGPT schlägt noch was anderes vor: NFS auf Proxmox installieren und ein ZFS Dataset damit freigeben und in der VM dann mounten harold

dreamy solar
#

das handbuch für dein board ist auch maximal müll ey xD

latent skiff
#

Findest du? Die sind doch alle gleich aufgebaut bei Asus

latent skiff
lone plover
#

ZFS hab ich nicht aber BRTFS

latent skiff
#

Also in proxmox bei einem Datenträger einfach einen Samba Server eingerichtet und den dann am PC oder sonst wo eingebunden

#

Wäre natürlich auch ne Idee pepehm

lone plover
#

Jo also bei Proxmox selbst über das Terminal installiert. Also apt install samba oder so

latent skiff
#

Ja okay, danke ok_frog

dreamy solar
#

ja gut das würde natürlich auch gehen , wenn du eh nur Laufwerk per SMB willst und nichts extra von trueNAS warum nicht so rum ja

lone plover
#

Habs so gemacht mit Laufwerk im RAID1 mit SMB und jede Woche wird ein scrub durch nen Crontab durchgeführt. Wahrscheinlich nicht die beste Methode aber ich hab nur 2 Platten und es sind jetzt nicht die allerwichtigsten Daten drauf

smoky junco
smoky junco
#

Solche Karten mit plx chip kosten um 300€ aufwärts, da kriegt man auch "richtige" Server Mainboards von Supermicro, AsrockRack oder Gigabyte MC die dann gescheite NIC's und management dabei haben

smoky junco
latent skiff
#

Ja ich hab auch schon gemerkt, Intel wäre wohl die bessere Wahl gewesen. Aber ich kauf jetzt nicht nochmal wieder alles neu harold

#

Die Tabelle wäre natürlich hilfreich gewesen wenn ich sie vorher gekannt hätte pepehm

smoky junco
#

Intel oder halt die monolithischen ryzen

dreamy solar
latent skiff
#

Frag doch sowas nicht harold

#

Vielleicht noch ein paar weitere Monate drauf rumdenken

#

Die M.2 SSDs haben jetzt 8300 Betriebsstunden in den Smart Werten, also fast 1 Jahr. So lange stecken die da schon drine und warten darauf, dass ich da endlich mal irgendwas einrichte harold

dreamy solar
latent skiff
#

Ja mit entscheidung treffen und endlich mal loslegen hab ichs nicht so

latent skiff
#

Also ich hab mir jetzt so ne Adapterkarte gekauft harold

#

Und dann werde ich das wohl mit TrueNAS machen. Denke das geht am besten

smoky junco
#

Welche Adapter Karte?

latent skiff
#

Diese

plucky cape
plucky cape
latent skiff
#

Kann sein, ich möchte aber gerne Proxmox nutzen weil es mir sehr gut gefällt und ich damit gut klar komme. Die Möglichkeit mit den LXC Containern (Ist das eigentlich so wie wenn man LCD Display sagen würde? harold ) finde ich auch cool, keine Ahnung ob TrueNAS das auch hat. Mit TrueNAS hingegen komme ich kaum zurecht. Da will ich so wenig wie möglich mit machen

plucky cape
#

TrueNAS nutzt für container mein ich kubernetes

latent skiff
#

Die Karte kam heute an und die SSDs haben nun jeweils ne Gruppe für sich ok_frog

image.png
#

Aber TrueNAS...ich hasse das Ding einfach. Ich kriegs wieder mal nicht hin ne einfache smb Freigabe einzurichten harold
Damit darf ich mich dann morgen mal wieder ein paar Stunden oder so rumärgern Madge

#

Ok jetzt gehts irgendwie doch. Ich weiß aber nicht wieso pepe_shrug

plucky cape
# latent skiff Aber TrueNAS...ich hasse das Ding einfach. Ich kriegs wieder mal nicht hin ne ei...

Guck dir doch ne Anleitung an oder mach das nach meiner Anleitung die ich dir mal geschickt hab xd

Du musst unter Storage nen Pool anlegen.

Danach unter Datasets nen Dataset, bei der Erstellung stellst du unten beim Preset einfach auf SMB

Dann ist das sofort mit deinem Admin User zugänglich.

Dann kannst du noch unter Credentials -> Users nen User anlegen.

Dann unter Datasets -> Dein neues Dataset -> Permissions nen Eintrag hinzufügen, dass dein neuer User Vollzugriff hat