Suite à une enfilade récente parlant de sauvegardes, j'avais dit que je regarderais un peu Vorta (GUI frontal de Borgbackup) et Borgbackup (CLI).

A l'heure actuelle l'utilise un truc assez équivalent au sens où c'est
un couple GUI et CLI qui produit des sauvegardes plutôt que des synchronisations, le couple Deja-Dup (GUI frontal à Duplicity) et
Duplicity (CLI)

- GUI: Vorta me paraît plus complet et plus complexe que Deja-Dup.
Vorta permet si je me souviens bien de présenter le contenu d'une
archive de sauvegarde par triage de date (ou autre) quand Deja-Dup
présente des icônes triés par nom uniquement. ça ,'a l'air de rien mais
ça peut être handicapant.
Deja-Dup ne gère pas le chiffrement de la sauvegarde: ça ne me gène
pas parce que mon disque externe de sauvegarde lui-même est chiffré,
mais ça peut être gênant.
Deja-Dup gère Microsift One Drive et Google Drive, pas Vorta.
Vorta permet plus de flexibilité dans les fréquences de sauvegarde que Deja-Dup (uniquement quotidien ou hebdomadaire sans plus de précision,
alors que Vorta peut sauvegarde toutes les trois minutes si ça vous
semble pertinent)
=> Par contre, QUESTION: je n'ai pas compris comment je pouvais faire
comme Deja-Dup: Deja-Dup crée une nouvelle sauvegarde complète tous les
90j (paramétrable dans dconf), J'ai essayé des paramètres d'élagage (pruning) dans Vorta en espérant que ça allait forcer la rre-création de sauvegardes complèrtes plutôt que continuer à faire des sauvegardes incrémentales. Mais l'élagage en lui-mêm n(a pas fonctionné donc pas de sauvegardes complètes
Donc en gros, potentiellement, je conseillerais Deja-Dup pour sa
simplicité d'emploi à ceux qui ont des besoins ordinaires (ou utilisent
des services Google ou Microsoft) et je conseillerais Vorta à des
utilisateurs plus autonomes et avertis qui ont des besoins un peu plus
poussés

- CLI: j'ai lu les docs sans quasiment utiliser (je suis une feignasse,
pour ce genre de trucs j'utilise sans remords des outils GUI quand ça
fait ce que je veux). J'ai eu l'impression que:
Le développement de borgbackup est plus actif que celui de duplicity
L'adoption de Borgbackup est plus importante que celle de Duplicity
Les fonctionnalités de Borgbackup sont moins étendues que celles de Duplicity

Voilà, c'était juste un petit retour d'expérience -minimaliste- sur ces outils? Sentez vous libre de compléter avec les vôtre, et de répondre à
ma question si vous le pouvez, voire de me dire que mon approche est perfectible parce que vue du mauvais côté.

Amicalement,
DG.

--- SoupGate-Win32 v1.05
* Origin: fsxNet Usenet Gateway (21:1/5)

Le 04/08/2023 à 16:37, didier gaumet a écrit :

Suite à une enfilade récente parlant de sauvegardes, j'avais dit que
je regarderais un peu Vorta (GUI frontal de Borgbackup) et Borgbackup
(CLI).

A l'heure actuelle l'utilise un truc assez équivalent au sens où c'est
un couple GUI et CLI qui produit des sauvegardes plutôt que des synchronisations, le couple Deja-Dup (GUI frontal à Duplicity) et
Duplicity (CLI)

- GUI: Vorta me paraît plus complet et plus complexe que Deja-Dup.
 Vorta permet si je me souviens bien de présenter le contenu d'une
archive de sauvegarde par triage de date (ou autre) quand Deja-Dup
présente des icônes triés par nom uniquement. ça ,'a l'air de rien
mais ça peut être handicapant.
 Deja-Dup ne gère pas le chiffrement de la sauvegarde: ça ne me gène
pas parce que mon disque externe de sauvegarde lui-même est chiffré,
mais ça peut être gênant.
 Deja-Dup gère Microsift One Drive et Google Drive, pas Vorta.
 Vorta permet plus de flexibilité dans les fréquences de sauvegarde
que Deja-Dup (uniquement quotidien ou hebdomadaire sans plus de
précision, alors que Vorta peut sauvegarde toutes les trois minutes si
ça vous semble pertinent)

Par contre, QUESTION: je n'ai pas compris comment je pouvais faire

comme Deja-Dup: Deja-Dup crée une nouvelle sauvegarde complète tous
les 90j (paramétrable dans dconf), J'ai essayé des paramètres
d'élagage (pruning) dans Vorta en espérant que ça allait forcer la rre-création de sauvegardes complèrtes plutôt que continuer à faire
des sauvegardes incrémentales. Mais l'élagage en lui-mêm n(a pas fonctionné donc pas de sauvegardes complètes
 Donc en gros, potentiellement, je conseillerais Deja-Dup pour sa simplicité d'emploi à ceux qui ont des besoins ordinaires (ou
utilisent des services Google ou Microsoft) et je conseillerais Vorta
à des utilisateurs plus autonomes et avertis qui ont des besoins un
peu plus poussés

- CLI: j'ai lu les docs sans quasiment utiliser (je suis une
feignasse, pour ce genre de trucs j'utilise sans remords des outils
GUI quand ça fait ce que je veux). J'ai eu l'impression que:
 Le développement de borgbackup est plus actif que celui de duplicity  L'adoption de Borgbackup est plus importante que celle de Duplicity
 Les fonctionnalités de Borgbackup sont moins étendues que celles de Duplicity

Voilà, c'était juste un petit retour d'expérience -minimaliste- sur
ces outils? Sentez vous libre de compléter avec les vôtre, et de
répondre à ma question si vous le pouvez, voire de me dire que mon
approche est perfectible parce que vue du mauvais côté.

Amicalement,
DG.

Dans borg, il n'y a pas de notion de complète/incrémentale.

Tu as d'un côté des "chunks" (des blocs de données) et de l'autre des
index. Un seul ensemble de chunks et chaque "sauvegarde" est un index
qui vers les chunks correspondant à l'état de ta source au moment de la sauvegarde.

Les chunks qui se retrouvent dans plusieurs sauvegardes (parceque les
données sources n'ont pas changé par exemple) sont partagés. Donc chaque index pointe vers une sauvegarde totale, le logiciel n'a juste pas
recopié ce qui était déjà dans le dépot borg.

Le pruning revient à supprimmer un index, puis supprimer les chunks qui
ne sont plus dans aucun index. Pas besoin de faire des totales et des incrémentales, avec ce principe de partage (qu'on trouve aussi dans les
file system de type "copy on write" comme ZFS), toutes les sauvegardes
sont équivalentes et le logiciel ne transfère que ce qui n'est pas déjà présent dans la sauvegarde.

--- SoupGate-Win32 v1.05
* Origin: fsxNet Usenet Gateway (21:1/5)

Le 2023-08-04 17:22, Erwan David a écrit :

Dans borg, il n'y a pas de notion de complète/incrémentale.

C'est exact. Borg fonctionne par déduplication. Virtuellement, il
effectue une sauvegarde intégrale à chaque fois, mais dans la pratique,
il ne sauvegarde que les blocs qui ont changé depuis la dernière
sauvegarde. Pour le reste, il se contente de mettre à jour l'index (en
gros, d'indiquer si les blocs sont présents ou non).

C'est très efficace (Borg n'est pas le seul outil à procéder par déduplication, c'est aussi ce que fait par exemple Restic), tant en
terme de temps de sauvegarde (volume de données à transférer) que de stockage (les blocs ne sont sauvegardés qu'une seule fois).

Certaines personnes sont effrayées par la déduplication, car elles se
disent que si le secteur stockant leur plus précieux fichier vient à
être corrompu ou illisible, elles perdent de facto toute copie de ce
fichier. C'est vrai, mais j'ai expliqué mon point de vue à ce sujet dans
un de mes articles sur la sauvegarde :

https://www.palabritudes.net/2020/11/21/quelques-reflexions-sur-la-sauvegarde.html

« Un dernier mot à propos de la déduplication des données. Certains
voient en elle une fragilité, car chaque bloc n’est stocké qu’une seule fois sur le support de sauvegarde. Mais en réalité, la multiplicité des copies sur un même support de stockage n’apporte qu’une sécurité marginale. Si le disque flanche, c’est tout son contenu qui devient irrécupérable, peu importe alors que nous ayons sur ce disque une seule
ou cent copies du fichier. La différence entre les deux stratégies ne se
fait que sur l’apparition de secteurs défectueux. Pour réellement sécuriser les sauvegardes, il faut donc multiplier les supports. »

Le pruning revient à supprimmer un index, puis supprimer les chunks qui
ne sont plus dans aucun index.

En effet. Le nettoyage des plus anciennes sauvegardes est plus simple.
Mais la restauration d'une sauvegarde aussi, car il n'est pas nécessaire
de calculer sur quelle sauvegarde complète il faut partir, puis quelles sauvegardes incrémentales il faut appliquer pour restaurer le fichier ou l'arborescence qui nous intéresse. On restaure la sauvegarde qui
correspond au jour qui nous intéresse et Borg se charge via ses index
d'aller chercher les données nécessaires.

Sébastien


--
Sébastien Dinot
Ne goutez pas au logiciel libre, vous ne pourriez plus vous en passer ! https://www.palabritudes.net/

--- SoupGate-Win32 v1.05
* Origin: fsxNet Usenet Gateway (21:1/5)

didier gaumet a écrit :

Deja-Dup ne gère pas le chiffrement de la sauvegarde

Il est indiqué ici :

https://doc.ubuntu-fr.org/duplicity

et là :

https://duplicity.gitlab.io/

que les sauvegardes générées par Duplicity sont des archives TAR
chiffrées.

Je ne connais pas plus Deja-Dup que Duplicity, mais je serais étonné
qu'un frontal graphique ne prenne pas en charge une fonction aussi
essentielle.

Je parle de fonction essentielle car si, comme tu l'indiques, on peut
pallier le non chiffrement de la sauvegarde par un chiffrement du disque
dur, il en va autrement avec les espaces de stockage distants que sont Microsoft One Drive et Google Drive. L'un et l'autre pourront bien te
dire ce qu'ils veulent, le fait est qu'en l'absence de chiffrement, tu
leur fournis les données en clair. J'espère donc bien que Deja-Dup
supporte le chiffrement que prend en charge Duplicity.

- CLI: j'ai lu les docs sans quasiment utiliser (je suis une
feignasse, pour ce genre de trucs j'utilise sans remords des outils
GUI quand ça fait ce que je veux).

Les capacité de programmation de sauvegarde de Vorta sont limitées. Pour répondre à ce besoin, il est préférable d'opter pour l'interface en
ligne de commande de BorgBackup et pour les timers de Systemd ou ce bon
vieux cron. D'autres préfèrent utiliser Borgmatic :

https://torsion.org/borgmatic/

Je l'ai déployé sur l'un de mes serveurs et, franchement, sa valeur
ajoutée est marginale à mes yeux. Certes, il permet de configurer la sauvegarde via du YAML et de déclencher des scripts en prologue d'un
backup. Mais en ce qui me concerne, j'avais déjà encapsulé tout ça dans
un script avant de connaitre Borgmatic. J'en ai déduit que je n'étais
pas vraiment le cœur de cible de cet outil.

Le développement de borgbackup est plus actif que celui de duplicity

Les disques durs prennent de l'embonpoint, les données aussi (la nature
a horreur du vide, c'est bien connu) et cela a un impact direct sur le
volume des sauvegardes, tant en terme de transfert que de stockage de
données (d'autant plus qu'elles sont historisées).

Il me semble donc naturel que les outils de sauvegarde modernes qui
réduisent drastiquement le temps de sauvegarde (et donc de dégradation,
voire d'indisponibilité, des services) et optimisent l'espace de
stockage aient le vent en poupe.

On voit même poindre de l'émulation, voire une véritable compétition en
la matière, entre BorgBackup et Restic qui sont régulièrement comparés
et évalués sur leurs performances. Restic a récemment pris un coup
d'avance en devenant multi-thread, mais BorgBackup a bien l'intention de
lui emboiter le pas et ce dernier reste par ailleurs plus performant sur
bien des opérations.

Sébastien


--
Sébastien Dinot, sebastien.dinot@free.fr
http://www.palabritudes.net/
Ne goutez pas au logiciel libre, vous ne pourriez plus vous en passer !

--- SoupGate-Win32 v1.05
* Origin: fsxNet Usenet Gateway (21:1/5)

hamster a écrit :

Donc si je comprend bien, ca veut dire aussi que la sauvegarde ne
pourra etre relue que avec le logiciel kivabien ?

Exact. C'est le prix à payer.

https://www.palabritudes.net/2020/11/21/quelques-reflexions-sur-la-sauvegarde.html

Ca m'interesse, mais firefox me dit "erreur de chargement de la page".

Oups, mon serveur était parti en quenouille au détour d'un reboot (d'ailleurs, il faudra que je lance une discussion à ce sujet ici l'un
de ces jours, car je n'arrive pas à diagnostiquer le problème).

C'est corrigé, la page est derechef accessible.

Sébastien

--
Sébastien Dinot, sebastien.dinot@free.fr
http://www.palabritudes.net/
Ne goutez pas au logiciel libre, vous ne pourriez plus vous en passer !

--- SoupGate-Win32 v1.05
* Origin: fsxNet Usenet Gateway (21:1/5)

Le 04/08/2023 à 16:37, didier gaumet a écrit :

 Deja-Dup ne gère pas le chiffrement de la sauvegarde: ça ne me gène
pas parce que mon disque externe de sauvegarde lui-même est chiffré,
mais ça peut être gênant.
[…]
 Vorta permet plus de flexibilité dans les fréquences de sauvegarde que Deja-Dup (uniquement quotidien ou hebdomadaire sans plus de précision,
alors que Vorta peut sauvegarde toutes les trois minutes si ça vous
semble pertinent)

Tu parle a la fois de fréquence de sauvegarde et de disque externe.
Comment ca se passe ?

Un logiciel qui lance automatiquement une sauvegarde a intervalle
régulier, je comprend, mais si c'est sur un disque externe je vois mal
comment le branchement du disque peut etre automatisé.

--- SoupGate-Win32 v1.05
* Origin: fsxNet Usenet Gateway (21:1/5)

Le 5 août 2023 hamster a écrit :

C'est exact. Borg fonctionne par déduplication. Virtuellement, il effectue >> une sauvegarde intégrale à chaque fois, mais dans la pratique, il ne
sauvegarde que les blocs qui ont changé depuis la dernière sauvegarde. Pour
le reste, il se contente de mettre à jour l'index (en gros, d'indiquer si >> les blocs sont présents ou non).

Donc si je comprend bien, ca veut dire aussi que la sauvegarde ne pourra etre relue que avec le logiciel kivabien ?

Perso j'utilise rsnapshot qui fait de la déduplication basée sur les
liens hard des filesystem. Du coup les backup sont tout simplement des répertoires classiques sur lesquels on peut utiliser tous les outils classiques : ls, find, grep, diff, etc. Sur ce point rsnapshot l'emporte.

--- SoupGate-Win32 v1.05
* Origin: fsxNet Usenet Gateway (21:1/5)

Le 05/08/2023 à 01:57, Sébastien Dinot a écrit :

hamster a écrit :

Un logiciel qui lance automatiquement une sauvegarde a intervalle
régulier, je comprend, mais si c'est sur un disque externe je vois mal
comment le branchement du disque peut etre automatisé.

Hors robot, le seul moyen d'arriver à ce résultat est de laisser le
disque dur de sauvegarde branché en permanence ; mais c'est une très mauvaise pratique

[...]

pour préciser mon propos qui était un peu trop vague, explication de la situation chez moi ou chez d'autres personnes à qui j'avais paramétré ça par le passé:

comme effectivement, tel que souligné par Sébastien, un disque externe branché en permanence est exposé à des risques supplémentaires tant accidentels que d'actes malveillants, le disque n'est branché qu'à la demande.

la sauvegarde étant automatisée, lorsqu'elle se lance, le disque n'étant quasiment jamais branché à ce moment-là, la sauvegarde se vautre quasi-systématiquement, en notifiant l'utilisateur qu'elle reprendra
lorsque le disque sera branché. Lorsque le disque est branché par l'utilisateur, elle reprend et notifie celui-ci lorsqu(elle s'est terminée.

Donc on peut légitimement s'émouvoir lorsque j'évoque une
automatisation, qui n'est que partielle ;-)

--- SoupGate-Win32 v1.05
* Origin: fsxNet Usenet Gateway (21:1/5)

Le 04/08/2023 à 22:46, Sébastien Dinot a écrit :

didier gaumet a écrit :

Deja-Dup ne gère pas le chiffrement de la sauvegarde

Il est indiqué ici [...] que les sauvegardes générées par Duplicity sont des archives TAR
chiffrées.

Je ne connais pas plus Deja-Dup que Duplicity, mais je serais étonné
qu'un frontal graphique ne prenne pas en charge une fonction aussi essentielle.

[...]

Oui, je ne mettais pas en doute l'aptitude de Duplicity à chiffrer les sauvegardes

*je*me*suis*trompé*, *Deja-Dup*gère*aussi*le*chiffrage*local*

ma mémoire (parfois catastrophique, parfois fiable, allez comprendre) me
fait un peu défaut: je me souviens avoir été confronté à un bug de Deja-Dup dans le passé, qui a été corrigé dans une version ultérieure. duplicity n'était pas affecté par cela et j'avais pu récupérer mes
données avec duplicity.

Du coup j'ai du mal à me souvenir exactement, mais c'est moi qui avais
dû choisir après cela, par commodité, de ne plus chiffrer par Deja-dup
des sauvegardes sur un disque dur externe non-chiffré, mais d'utiliser désormais des sauvegardes non-chiffrées sur un disque dur externe chiffré

--- SoupGate-Win32 v1.05
* Origin: fsxNet Usenet Gateway (21:1/5)

Bon alors d'abord merci à Erwan et Sébastien :-)
d'avoir explicité le fonctionnement de Borgbackup et Vorta, parce qu'à
la lumière de leurs explications et des docs de Borgbackup et Duplicty, j'avais manifestement mal compris pas mal de points

(je résume la réflexion pour que les ignares dans mon genre puissent comprendre plus facilement ce fil dans le futur. évidemment si je dis
des bêtises, corrigez)

Je me demandais comment forcer une sauvegarde complète Vorta
périodiquement parce que les outils traditionnels de sauvegardes sont incrémentaux ou différentiels à partir d'une sauvegarde complète.

Mais ces outils sont séquentiels: pour restaurer un contexte à une date donnée, l'opérateur doit savoir quelle séquence d'archives restaurer,
un exemple ici:
https://en.wikipedia.org/wiki/Differential_backup#Illustration

alors que Borgbackup (donc Vorta aussi) est indexé, donc si il y a une séquence de morceaux (chunks) à restaurer, c'est transparent pour l'opérateur qui restaure juste l'archive de la date donnée.

Par contre, tout ça m'amène à penser que je dois faire des vérifications
de sauvegardes périodiques parce qu'en tant que particulier quand on
fait des sauvegardes (totales+incrémentales), on est surtout intéressé à restaurer suite à un plantage la situation juste antérieure, et on a
parfois bêtement tendance à se dire que la dernière sauvegarde totale
est récente donc non corrompue, ce qui est un peu stupide.

pour ceux qui comme moi ont souvent besoin d'une petit dessin pour que
ça passe mieux, la doc Borgbackup présente un "graphe des objets", schématique de la manière dont le logiciel s'y prend: https://borgbackup.readthedocs.io/en/stable/internals/data-structures.html#the-object-graph

Tout ma réflexion sur les sauvegardes est assez caractéristique de l'amateur-qui-est-déjà-content-de-faire-des-sauvegardes sans bien
réaliser tous les tenants et aboutissants, ce qui doit amuser quelque
peu les experts du domaine ;-)

--- SoupGate-Win32 v1.05
* Origin: fsxNet Usenet Gateway (21:1/5)

Le 05/08/2023 à 09:25, didier gaumet a écrit :

la sauvegarde étant automatisée, lorsqu'elle se lance, le disque n'étant quasiment jamais branché à ce moment-là, la sauvegarde se vautre quasi-systématiquement, en notifiant l'utilisateur qu'elle reprendra
lorsque le disque sera branché. Lorsque le disque est branché par l'utilisateur, elle reprend et notifie celui-ci lorsqu(elle s'est terminée.

Donc on peut légitimement s'émouvoir lorsque j'évoque une
automatisation, qui n'est que partielle ;-)

Je crains que tu n'aie mal compris mon message. Je ne m'émeut pas, je me renseigne. Et loin de moi l'idée d'émettre la moindre critique.

Donc je résume pour voir si j'ai bien compris : tu a un logiciel
programmé pour lancer des sauvegardes automatiquement et tu utilise le
fait que ce logiciel plante et sort un message d'erreur pour rappeler a l'utilisateur qu'il est temps de brancher le disque externe. En cela ca
lui laisse le choix du moment ou il le branche et donc lance la sauvegarde.

C'est en effet une facon fonctionnelle de procéder. Je n'y avais pas
pensé parce que je cherchais dans les logiciels de sauvegarde un
mécanisme dédié a faire a peu près la meme chose plutot que de passer
par un plantage, mais je ne le trouvais pas. Merci donc pour cette astuce.

--- SoupGate-Win32 v1.05
* Origin: fsxNet Usenet Gateway (21:1/5)

Le 05/08/2023 à 12:01, hamster a écrit :

Le 05/08/2023 à 09:25, didier gaumet a écrit :

[...]

Donc on peut légitimement s'émouvoir lorsque j'évoque une
automatisation, qui n'est que partielle ;-)

Je crains que tu n'aie mal compris mon message. Je ne m'émeut pas, je me renseigne. Et loin de moi l'idée d'émettre la moindre critique.

Non, pas de souci, c'est moi qui ai tenté une saillie humoristique dont j'aurais dû m'abstenir :-)

Donc je résume pour voir si j'ai bien compris

[...]

oui, tu as bien compris :-)

Un autre procédé que j'avais employé il y a quelques années sur un PC Windows d'une amie, c'était de lui créer un évènement récurrent
quotidien dans Thunderbird pour lui rappeler de faire sa sauvegarde.

--- SoupGate-Win32 v1.05
* Origin: fsxNet Usenet Gateway (21:1/5)

Le 04/08/2023 à 18:23, Sébastien Dinot a écrit :

C'est exact. Borg fonctionne par déduplication

[...]

C'est très efficace (Borg n'est pas le seul outil à procéder par déduplication, c'est aussi ce que fait par exemple Restic),*

[...]

Au cas où ça puisse intéresser ceux à la recherche de frontaux GUI pour accéder aux fonctions d'un outil backup CLI particulier

(Attention: ne pas se lancer avant d'avoir testé, je ne l'ai pas encore
fait, peut-être que ça se plante d'entrée.)

je continue de regarder un peu tout ça et en fouillant dans les options cachées (dconf) de Deja-Dup, je m'aperçois:
- qu'il peut servir de servir de frontal GUI, non seulement à Duplicty
(par défaut), mais aussi à Borgbackup ou à Restic! (paramètre /org/gnome/deja-dup/tool)
- que comme Vorta on peut lui adjoindre des scripts avant, après, ou
autour.
(paramètres /org/gnome/deja-dup/custom*)

Pour Borg ça aurait l'avantage d'offrir une alternative à Vorta, pour
Restic ça aurait l'avantage de fournir un frontal GUI inexistant par ailleurs(?)

--- SoupGate-Win32 v1.05
* Origin: fsxNet Usenet Gateway (21:1/5)

suite et fin du feuilleton Deja-Dup et sa compatibilité avec Duplicity/Borgbackup/Restic:

- le paquet Deja-Dup 44.0 de Bookworm appelle systématiquement Duplicity
même si on sélectionne Borg ou Restic dans les paramètres dconf

- le paquet Deja-Dup 44.2 de Sid n'affiche pas la même interface que les paquets Fedora (.rpm) ou Flathub (flatpak): il n'y a pas d'onglet GUI où
on peut choisir un autre backend que Duplcity. Je n'ai pas cherché à
modifier les paramètres dconf. A priori le paquet Debian Sid se comporte
comme le paquet Debian Bookworm: il appelle systématiquement Duplicity

- Deja-Dup 44.2 (flatpak sous Debian ou rpm sous Fedora) propose un
onglet GUI où on peut choisir parmi deux backends: Duplicity ou Restic.
Autant le flatpak que le rpm fonctionnent correctement avec le backend
Restic.

--- SoupGate-Win32 v1.05
* Origin: fsxNet Usenet Gateway (21:1/5)