I'm trying to use the Kooten_Noromaid-7B-0.4-DPO-4bpw-exl2 model, and when I chat with the AI i see on the terminal this text: "RuntimeError: FlashAttention only supports Ampere GPUs or newer." Idk if this is the issue and how to resolve that.
#Idk why but when i text the AI in oobabooga I get no answer
wraith goblet
wraith goblet
Apposto, grazie mille, ho trovato un pulsante direttamente su oobabooga
Anche se ora l'AI mi risponde, ma non stoppa la generazione della risposta 😭
loud meadow
Apposto, grazie mille, ho trovato un pulsante direttamente su oobabooga
perfetto!
marca il post come "solved" così gli helper non verranno ad aiutarti inutilmente
mi fa piacere tu abbia risolto :)
wraith goblet
Va bene, e' stato un piacere anche essere aiutato da una compatriota haha
loud meadow
Va bene, e' stato un piacere anche essere aiutato da una compatriota haha
ahahha di nulla!!
wraith goblet
E' da qualche giorno che ho iniziato a smanettare su ai, ho il cervello in fiamme
loud meadow
E' da qualche giorno che ho iniziato a smanettare su ai, ho il cervello in fiamm...
se vuoi puoi scrivermi in privato per qualche dritta
wraith goblet
va bene grazie per la disponibilita'