microSysMics issueshttps://univ-nantes.io/bird_pipeline_registry/microSysMics/-/issues2018-05-02T08:53:13Zhttps://univ-nantes.io/bird_pipeline_registry/microSysMics/-/issues/2Adapter README et wiki2018-05-02T08:53:13ZErwan DELAGEAdapter README et wikiModifier le README écrit par Yohann pour qu'il soit adapté à la nouvelle version du pipeline.
Décrire le fonctionnement dans le wiki.Modifier le README écrit par Yohann pour qu'il soit adapté à la nouvelle version du pipeline.
Décrire le fonctionnement dans le wiki.Réunion PipelineErwan DELAGEErwan DELAGE2018-04-25https://univ-nantes.io/bird_pipeline_registry/microSysMics/-/issues/35Adapters trimming2021-01-19T11:02:26ZErwan DELAGEAdapters trimmingLes adapters Illumina sont parfois présents dans les reads. Utiliser cutadapt avec l'option --p-adapter permet de les supprimer. Si on combine la suppression d'adapters avec la suppressions des primers de PCR, cutadapt conserve les séque...Les adapters Illumina sont parfois présents dans les reads. Utiliser cutadapt avec l'option --p-adapter permet de les supprimer. Si on combine la suppression d'adapters avec la suppressions des primers de PCR, cutadapt conserve les séquences où le primer de PCR n'est pas trouvé mais l'adapter si. Ce comportement n'est pas souhaité.
Une décomposition en deux étapes est nécessaire. Trouver le moyen le plus élégant de le traiter.https://univ-nantes.io/bird_pipeline_registry/microSysMics/-/issues/32Add beta diversity significance test2020-06-08T09:11:13ZErwan DELAGEAdd beta diversity significance testPERMANOVA, ANOSIM : see beta diversity significance pluginPERMANOVA, ANOSIM : see beta diversity significance pluginhttps://univ-nantes.io/bird_pipeline_registry/microSysMics/-/issues/29Ajout de métriques de diversité dans l'alpha group significance2020-03-27T10:28:45ZErwan DELAGEAjout de métriques de diversité dans l'alpha group significanceObserved OTUS, faith pdObserved OTUS, faith pdhttps://univ-nantes.io/bird_pipeline_registry/microSysMics/-/issues/7Ajouter l'assignation taxonomique2019-01-04T13:02:35ZErwan DELAGEAjouter l'assignation taxonomiqueUne fois mieux compris le système d'assignation taxonomique (sur un exemple réel), voir si cette partie peut être automatisée et ajouter au pipeline.
https://docs.qiime2.org/2018.4/tutorials/feature-classifier/Une fois mieux compris le système d'assignation taxonomique (sur un exemple réel), voir si cette partie peut être automatisée et ajouter au pipeline.
https://docs.qiime2.org/2018.4/tutorials/feature-classifier/https://univ-nantes.io/bird_pipeline_registry/microSysMics/-/issues/6Automatisation2020-03-04T13:03:29ZErwan DELAGEAutomatisationDoit-on automatiser la détection des seuils suivant pour rendre le pipeline totalement automatique ?
- Longueur de trim
- Seuil de rarefaction Doit-on automatiser la détection des seuils suivant pour rendre le pipeline totalement automatique ?
- Longueur de trim
- Seuil de rarefaction https://univ-nantes.io/bird_pipeline_registry/microSysMics/-/issues/27Automatiser l'alpha rarefaction2020-03-21T13:54:59ZErwan DELAGEAutomatiser l'alpha rarefactionLes courbes d'alpha rarefaction pourraient être calculées automatiquement après l'inférence de la table d'abondance en se basant sur la profondeur de séquençage médiane plutôt que de laisser la possibilité à l'utilisateur de choisir par ...Les courbes d'alpha rarefaction pourraient être calculées automatiquement après l'inférence de la table d'abondance en se basant sur la profondeur de séquençage médiane plutôt que de laisser la possibilité à l'utilisateur de choisir par lui même. On aurait ainsi une information supplémentaire pour choisir le seuil de rarefaction directement avec la construction de la table.https://univ-nantes.io/bird_pipeline_registry/microSysMics/-/issues/20Automatiser la création des manifest à partir d'un répertoire2019-08-21T12:43:38ZErwan DELAGEAutomatiser la création des manifest à partir d'un répertoirehttps://univ-nantes.io/bird_pipeline_registry/microSysMics/-/issues/5Besoin d'un cutadapt ?2018-10-03T13:11:27ZErwan DELAGEBesoin d'un cutadapt ?https://univ-nantes.io/bird_pipeline_registry/microSysMics/-/issues/31Boxplot abondance relative2020-05-18T19:42:45ZErwan DELAGEBoxplot abondance relativeIntégrer des boxplot d'abondance relative (TSS + log10) sur les TOP n taxons (en terme d'abondance médiane)
TOP n ou taxons dont l'abondance médiane est supérieure à un certain seuilIntégrer des boxplot d'abondance relative (TSS + log10) sur les TOP n taxons (en terme d'abondance médiane)
TOP n ou taxons dont l'abondance médiane est supérieure à un certain seuilhttps://univ-nantes.io/bird_pipeline_registry/microSysMics/-/issues/4configfile Snakemake2018-05-02T13:21:00ZErwan DELAGEconfigfile SnakemakeLaisser deux choix à l'utilisateur. Passer le fichier de config en ligne de commande ou bien via le Snakemake. Voir toutes les implicationsLaisser deux choix à l'utilisateur. Passer le fichier de config en ligne de commande ou bien via le Snakemake. Voir toutes les implicationshttps://univ-nantes.io/bird_pipeline_registry/microSysMics/-/issues/19Cutadapt2020-03-21T13:53:29ZErwan DELAGECutadaptTester cutadapt, paired single, etc...Tester cutadapt, paired single, etc...https://univ-nantes.io/bird_pipeline_registry/microSysMics/-/issues/12Deblur 18S2019-04-10T14:33:49ZErwan DELAGEDeblur 18SActuellement, deblur ne peut être utilisé qu'avec des données 16S. Il faut ajouter la possibilité d'utiliser le plugin "denoise-other" qui permet de spécifier une base de données externe sur laquelle deblur effectuera son filtre positif.Actuellement, deblur ne peut être utilisé qu'avec des données 16S. Il faut ajouter la possibilité d'utiliser le plugin "denoise-other" qui permet de spécifier une base de données externe sur laquelle deblur effectuera son filtre positif.Erwan DELAGEErwan DELAGEhttps://univ-nantes.io/bird_pipeline_registry/microSysMics/-/issues/23Deblur p-min-reads et lancement parallèle2020-03-10T18:46:14ZErwan DELAGEDeblur p-min-reads et lancement parallèleLe paramètre "p-min-reads" de deblur a un impact différent selon que le run est lancé en mode "parallel" ou en mode "pooled". En mode "parallel", il faudrait obtenir les mêmes résultats qu'en "pooled" par défaut. Pour cela, il faudrait f...Le paramètre "p-min-reads" de deblur a un impact différent selon que le run est lancé en mode "parallel" ou en mode "pooled". En mode "parallel", il faudrait obtenir les mêmes résultats qu'en "pooled" par défaut. Pour cela, il faudrait fixer l'option "p-min-reads" à 1 et filtrer la matrice réassemblée pour ne conserver que les ASV ayant une abondance globale >= 10 (valeur par défaut).https://univ-nantes.io/bird_pipeline_registry/microSysMics/-/issues/34Demultiplexing2020-06-11T08:33:39ZErwan DELAGEDemultiplexingLe pipeline fonctionne uniquement avec des séquences déjà démultiplexées. Les données du projet EcoVitiSol ne le sont pas (on a un fastq forward, un reverse, et un fichier de métadonnées avec les barcode).
Qiime2 propose, via cutadapt, u...Le pipeline fonctionne uniquement avec des séquences déjà démultiplexées. Les données du projet EcoVitiSol ne le sont pas (on a un fastq forward, un reverse, et un fichier de métadonnées avec les barcode).
Qiime2 propose, via cutadapt, un demultiplexing des séquences. Il faut pour cela importer les données en tant que données multiplexées (via le type EMPPairedEndSequences) par exemple. Le problème est double :
- les données peuvent visiblement être formatées de plusieurs façons différentes, et un pré-traitement sera de toute façon nécessaire.
- le contrôle qualité via multiqc exige d'avoir les fastq démultiplexés, et non pas sous la forme d'un artifact QZA
Pour le moment, on se contente avec EcoVitiSol de faire le demultiplexage hors du pipeline avec cutadapt
~~~
cutadapt --no-indels -g file:barcodes_forward.fasta -G file:barcodes_reverse.fasta -o ../fastq_demultiplexed/{name1}-{name2}_R1.fastq.gz -p ../fastq_demultiplexed/{name1}-{name2}_R2.fastq.gz GnS-EcoVitiSol-16S-B_S1_L001_R1_001.fastq.gz GnS-EcoVitiSol-16S-B_S1_L001_R2_001.fastq.gz
~~~https://univ-nantes.io/bird_pipeline_registry/microSysMics/-/issues/28Erreur git2020-05-18T19:37:20ZErwan DELAGEErreur gitSur BiRD, depuis peu, j'obtiens aléatoirement des erreurs liées à git.
En relançant les jobs, ils passent. Problème d'accès concurrent ???? Variables d'env non transmises ???
Aucune modification n'a été effectuée sur cette partie du ...Sur BiRD, depuis peu, j'obtiens aléatoirement des erreurs liées à git.
En relançant les jobs, ils passent. Problème d'accès concurrent ???? Variables d'env non transmises ???
Aucune modification n'a été effectuée sur cette partie du code.
-------
ImportError in line 9 of /sandbox/users/delage-e-1/microSysMics/Snakefile:
Failed to initialize: Bad git executable.
The git executable must be specified in one of the following ways:
- be included in your $PATH
- be set via $GIT_PYTHON_GIT_EXECUTABLE
- explicitly set via git.refresh()
All git commands will error until this is rectified.
This initial warning can be silenced or aggravated in the future by setting the
$GIT_PYTHON_REFRESH environment variable. Use one of the following values:
- quiet|q|silence|s|none|n|0: for no warning or exception
- warn|w|warning|1: for a printed warning
- error|e|raise|r|2: for a raised exception
Example:
export GIT_PYTHON_REFRESH=quiet
File "/sandbox/users/delage-e-1/microSysMics/Snakefile", line 9, in <module>
File "/sandbox/users/delage-e-1/miniconda3/envs/microSysMics/lib/python3.7/site-packages/git/__init__.py", line 85, in <module>https://univ-nantes.io/bird_pipeline_registry/microSysMics/-/issues/39evolution_nbreads.py failed if ids are integer2021-09-10T14:28:48ZPhilippe BORDRONevolution_nbreads.py failed if ids are integerWhen sample ids are integer, I get this error:
```
Traceback (most recent call last):
File "/LAB-DATA/BiRD/shares/mibiogate/DOPEC/anosain_vs_dopec/scripts/microSysMics/scripts/evolution_nbreads.py", line 80, in <module>
nb_reads_b...When sample ids are integer, I get this error:
```
Traceback (most recent call last):
File "/LAB-DATA/BiRD/shares/mibiogate/DOPEC/anosain_vs_dopec/scripts/microSysMics/scripts/evolution_nbreads.py", line 80, in <module>
nb_reads_boxplot = sns.boxplot(x="processing_step", y="nb_reads", ax = ax, data=stats_plot)
File "/LAB-DATA/BiRD/shares/mibiogate/DOPEC/anosain_vs_dopec/envs/microSysMics/lib/python3.9/site-packages/seaborn/_decorators.py", line 46, in inner_f
return f(**kwargs)
File "/LAB-DATA/BiRD/shares/mibiogate/DOPEC/anosain_vs_dopec/envs/microSysMics/lib/python3.9/site-packages/seaborn/categorical.py", line 2240, in boxplot
plotter = _BoxPlotter(x, y, hue, data, order, hue_order,
File "/LAB-DATA/BiRD/shares/mibiogate/DOPEC/anosain_vs_dopec/envs/microSysMics/lib/python3.9/site-packages/seaborn/categorical.py", line 407, in __init__
self.establish_colors(color, palette, saturation)
File "/LAB-DATA/BiRD/shares/mibiogate/DOPEC/anosain_vs_dopec/envs/microSysMics/lib/python3.9/site-packages/seaborn/categorical.py", line 319, in establish_colors
lum = min(light_vals) * .6
ValueError: min() arg is an empty sequence
(microSysMics) [bordron-p-1@js4jb5j microSysMics]$ python scripts/evolution_nbreads.py /LAB-DATA/BiRD/shares/mibiogate/DOPEC/anosain_vs_dopec/output ../../input/config.json
No reference based filtering found for this run.
```
The cause is that pandas assign best possible type, even for dataframe index, and qiime2's outputs has multiple metadata rows (like the one starting with `#q2:types`).
One solution is to force index to be string. Another one is to ignore 2nd row of qiime's output (we must be sure that it is always the case).https://univ-nantes.io/bird_pipeline_registry/microSysMics/-/issues/26Export csv des métriques de diversité.2020-03-21T13:54:24ZErwan DELAGEExport csv des métriques de diversité.https://univ-nantes.io/bird_pipeline_registry/microSysMics/-/issues/25Filtre sur table d'abondance2021-02-17T17:02:56ZErwan DELAGEFiltre sur table d'abondanceAjouter la possibilité de filtrer les échantillons/ASV après l'inférence de la table.Ajouter la possibilité de filtrer les échantillons/ASV après l'inférence de la table.https://univ-nantes.io/bird_pipeline_registry/microSysMics/-/issues/36Filtrer les échantillons outliers2021-02-17T17:02:56ZErwan DELAGEFiltrer les échantillons outliersTrouver un moyen élégant de pouvoir supprimer les échantillons outliers et relancer les analyses secondaires sans avoir à relancer le pipeline depuis le début ou à avoir à modifier à la mano la table d'abondance QZA et le fichier context...Trouver un moyen élégant de pouvoir supprimer les échantillons outliers et relancer les analyses secondaires sans avoir à relancer le pipeline depuis le début ou à avoir à modifier à la mano la table d'abondance QZA et le fichier contextuel.