Étude pédagogique du dispositif NA17
Le dispositif est viable, les étudiants réussissent et sont satisfaits
Après deux semestres d'enseignement de NA17 il est encore trop tôt pour faire un bilan pédagogique complet. Je pense pouvoir le faire à l'issue de ce troisième semestre, qui permettra de mieux mesurer la demande au printemps (le dispositif est mieux connu au moment des inscriptions) et le réussite comparée avec l'enseignement classique (dispensé en parallèle).
Il est néanmoins d'ors et déjà possible de valider la faisabilité globale du dispositif. Premièrement, les étudiants s'inscrivent, n'abandonnent pas en cours de route et présentent une réussite (75%) légèrement inférieure à celle de l'enseignement traditionnel avec une population structurellement plus faible. Deuxièmement, le taux de satisfaction en fin d'UV est très élevé (90%), malgré le fait que la majorité des étudiants aurait préféré suivre le cours de façon traditionnelle (60%) et avoir plus de TD ou de cours (80%).
La troisième expérience permettra de comparer avec l'enseignement traditionnel les quantités de travail fournies et les résultats, et d'affiner la proportion d'étudiants choisissant ou subissant la modalité en autonomie.
Résultats aux examens au printemps 2014
Les résultats aux examens des étudiants NA ont pu être comparés aux étudiants NF au printemps 2014, les deux cours étant délivrés en parallèle.
Typologie des étudiants
15 étudiants inscrits à NA17
Une population assez différente de celle de NF17
50% de GI01 (contre 10% seulement en NF17, la majorité des étudiants est en GI02)
1 étudiant de master et 1 de Hutech (contre 1 et 0 en NF17)
2 TC06 (contre 0 en NF17)
On peut considérer cette population structurellement plus faible car moins expérimentée et moins préparée à l'enseignement des bases de données.
Résultats obtenus
On relève les conclusions suivantes :
Le groupe NA a obtenu l'UV avec un résultat inférieur à l'ensemble des groupes (67% contre 79%) et même inférieur au groupe NF le plus faible (67% contre 73%).
Le groupe NA fait partie des deux groupes ayant obtenu le plus de A (20% et 21%).
Les moyennes aux examens sont de l'ordre de la moyenne de l'UV.
Le groupe est plus "distendu" qu'un groupe NF classique en terme de résultat (plus d'échec et plus de A).
On notera qu'il n'y a eu aucun abandon de l'UV.
Étude détaillée des résultats
Résultats aux examens à l'automne 2014
L'étude des résultats obtenus à l'automne 2014 en NA17 ne peuvent être comparés à ceux de NF17, seule NA17 étant enseignée à l'automne. On notera également un phénomène conjoncturel de sur-évaluation lors de ce semestre, lié à un changement dans le mode d'évaluation (un examen "favorable" a été ajouté).
Typologie d'étudiants
40 inscrits
GI02 et supérieur : 15/40 (37,5% contre 80 à 85% en NF17 en moyenne)
TC05 et GI01 : 17/40 (42,5% contre 15% en NF17 en moyenne)
HU05 : 5/40 (12,5% contre 1% en NF17 au printemps 2014)
Master : 3 (7,5% contre 1% en NF au printemps 2014)
La structure des étudiants est globalement plus faible qu'en NF17, les GI01 et HU05 ont un semestre d'informatique de moins que les GI02 et supérieur. Il est conseillé aux étudiants de ne suivre NF17 qu'après ce premier semestre, afin de renforcer leurs bases informatiques avant de commencer l'apprentissage des bases de données.
Résultats
Les résultats obtenus sont au premier abord similaires aux résultats habituels de NF17 : 32 étudiants sur 40 ont obtenu l'UV, soit 82% de réussite.
Mais si on exclut les étudiants inscrits en master et les étudiants étranger en échange, on arrive à 94% de réussite, sachant que les quatre étudiants en master et en échange ont échoué (0% de réussite) et qu'ils représentent donc 50% des échecs. Ces étudiants sont habituellement beaucoup plus en difficulté dans ce cours et ils étaient sur-représentés dans la population NA17 d'automne 2015.
Étude comparée des résultats en fonction de l'origine des étudiants entre 2012 et 2014
Avis des étudiants au printemps 2014
Un questionnaire ouvert a été soumis aux étudiants en fin d'UV.
Synthèse des réponses au questionnaire
Les conclusions les plus notables sont les suivantes :
Les étudiants ont déclaré avoir travaillé en moyenne 65h, soit la moitié environ de ce qui est attendu. La quantité de travail passé en autonomie sur les modules est très inférieure à ce qui est attendu (16h en moyenne contre 50h à 100h estimée).
Les étudiants ont fortement assisté aux cours magistraux avec les étudiants de NF17, ainsi qu'aux séances de TD qui leur ont été proposé.
On notera que la majorité des étudiants de NA17 de ce premier semestre n'ont pas choisi l'UV en première intention, mais s'y sont inscrits faute de place en NF17.
Analyse quantitative
Analyse qualitative (verbatim)
Temps de travail :
« Le travail demandé est équivalent, mais c'est plus difficile de le fournir. »
« Le volume de travail est supérieur, car lorsque l'on est bloqué on passe plus de temps à essayer de comprendre quelque chose (que l'on ne saisit pas toujours). Alors qu'en TD nous sommes guidés et le chargé de TD répond à nos questions. »
« Le temps de travail est inférieur car les TD (modules) en autonomie peuvent être fait en moins de 3h, contrairement à NF17. »
Cours magistraux :
« Les cours magistraux sont indispensables (interactions et points de détails). »
« Les cours magistraux obligent à voir le cours, sinon chez soi on le fait jamais. »
« Les cours magistraux sont utiles, car en NA on travaille tout seul et on peut comprendre des choses fausses. »
« Les cours magistraux sont une introduction obligatoire pour commencer les modules en autonomie. »
« Les cours magistraux rappellent bien les différents points à connaître que ce soit pour le médian ou le final. »
« Les cours magistraux sont utiles, ils apportent un cadre régulier et un rythme, en outre l'appropriation me semble plus simple lors d'un cours en présentiel que seul face à un module. »
« Les cours magistraux sont importants pour une proportion non négligeable des étudiants, cela leur permet d'avoir une approche différente sur le contenu et les notions, par un enseignant. »
« Aucune présence en amphi, même s'il est de très bonne qualité, j'aime le concept NA parce que je peux simplement lire les cours et aller à mon rythme (en général plus vite qu'en amphi). »
TD :
« Les séances de TD sont très utiles, elles permettent de poser des questions directement. »
« Les séances de TD humanisent l'enseignement et permettent, dans une certaine mesure, un suivi personnalisé. »
« Les NF17 ont la chance d'avoir un TD et de pouvoir poser des questions. »
« A mon avis il faudrait une séance de TD de plus. Quitte à ce que la dernière séance de TD soit notée pour nous forcer à travailler. »
« Les séances de TD n'étaient pas très utiles, je n'avais pas encore commencé à travailler les modules, donc l'efficacité était limitée... »
Vidéos :
« Je regarde toujours les vidéos si j'ai loupé un amphi. »
« Les vidéos permettent de rapporter les bénéfices du cours magistral au rythme particulier de chaque apprenant. »
Généralités et suggestion :
« Les TD sont importants, ils permettent d'avoir un retour immédiat sur sa compréhension des notions et aussi de profiter des progrès et des erreurs des autres, ce qui est largement plus difficile lors d'un apprentissage autonome. Il me semble fort peu pertinent de proposer une UV aussi fondamentale sans les TD. »
« Il faudrait un devoir portant sur quelques TD essentiels à rendre. Afin d'être évalués et situer notre avancement en autonomie, et la différence entre ce qu'on pense savoir faire et ce qu'on peut fournir par rapport aux exigences du prof. »
« Pour encourager le travail sur les modules, une réservation hebdomadaire d'une salle en journée pour les NA17 serait un plus. En effet on pourrait se retrouver entre NA, faire les modules et discuter des problèmes lorsqu'on en rencontre un. »
Forum :
« Concernant le forum, je trouve que le fait qu'il soit officiel l'alourdit, on obtient des réponses rapides et très souvent pertinentes sur le groupe Facebook de l'UTC. »
« Je pense que la fonction forum est inutile sur tout les cours Moodle. Je ne pense pas que qu'il y ait la "cohésion" nécessaire à l'UTC pour que les forums fonctionnent. Répondre à des posts est long, les étudiants (comme les professeurs, d'ailleurs) n'ont pas forcément le temps pour ça. »
« Je n'utilise que très peu (voire jamais) les forum, quelque soit l'UV. J'essaye toujours de résoudre mes problèmes en posant des questions à d'autres étudiants. La fonction de forum peut servir si l'on a une question à poser au professeur directement. »
« Le délai de réponse est trop long lorsque l'on est lancé dans son travail. »
« L'emploi du forum partait d'une bonne intention : possibilité de faire profiter à tous les étudiants des questions et réponses. »
Avis des étudiants à l'automne 2014
Deux questionnaires en ligne ont été soumis aux étudiants à mi-parcours et en fin d'UV.
Synthèse des réponses au questionnaire
Trois quart des étudiants avaient des antécédents, essentiellement obtenus en DUT ou au cours de l'UV NF92 "Traitement automatique de l'information" à l'UTC en tronc commun (10% des étudiants n'avaient aucun antécédent).
90% des étudiants sont satisfaits en fin d'UV (ce résultat est comparable à NF17)
Deux tiers des étudiants ont choisi NA17 par défaut, un tiers parce qu'il préférait cette modalité. Trois quarts des étudiants auraient souhaité plus de cours et/ou plus de TD.
Trois quarts des étudiants estiment avoir plus travaillé quand dans une UV comparable (tout en ayant moins travaillé que ce qui étaient préconisé, ce qui reflète le décalage général entre le travail attendu par les enseignants et le travail réel fourni par les étudiants ; ainsi que la surévaluation du système ECTS)
Les modules écrits fournis constituent l'entrée principale dans la matière, avec un tiers des étudiants qui ont utilisé les vidéos d'amphi et/ou les versions audio, et la moitié qui a utilisé des ressources externes sur le Web.
Trois quarts des étudiants ont réussi à travaillé en groupe, et plus de 80% a réussi à s'organiser pour le projet.
Réponses détaillées
Étude qualitative
Ces résultats sont des extraits des commentaires textuels laissés par les étudiants sur le questionnaire ou le résultat d'échanges complémentaires avec certains d'entre eux.
Les étudiants qui ont suivi cette UV par défaut l'on fait essentiellement pour des raisons organisationnelles (
« je voulais absolument avoir suivi cette UV avant mon stage au prochain semestre »
, décalage de semestre, pour pouvoir« choisir d'autres UVs au printemps »
) ; certain par défaut d'information (« je croyais avoir des cours »
).Les étudiants qui ont suivi cette UV par choix l'on fait également pour des raisons organisationnelles (flexibilité, allègement d'emploi du temps) ; par curiosité (pour essayer :
« Je ne pense pas que le travail en autonomie soit quelque chose à systématiser bêtement mais l'initiative m'intéressait, effectivement. »
) ; et pour des raisons directement liées à l'autonomie (« pas besoin de faire semblant d'aller en TP ou autre séances obligatoire ou 'politique' »
,« le temps gagné est utilisé à autre chose »
).Concernant les cours magistraux, certains jugent que les modules se suffisent à eux même ; d'autres que les vidéos remplacent le cours magistral (elles aident à hiérarchiser ce qui est important, et l'on retrouve la fonction manquante dans les modules de la focalisation que l'enseignant fait sur les points importants). Au contraire pour d'autres les cours magistraux permettent de comprendre plus vite et restent utiles pour les points les plus difficiles.
Les séances de TD sont réclamés par tous les étudiants qui ont posté des commentaires (pas moins de quatre TD), avec des horaires permettant à tous de venir (le soir plutôt que le midi). On notera que 50% des étudiants seulement ont effectivement utilisé les TD.
Les modules ont été très appréciés, la plupart ont noté l'intérêt de la pluralité des modalités (QCM, exercices corrigés, version avec écoute, PDF
« lorsqu'on est sans ordinateur »
). Certains n'ont utilisé que la version PDF.Ceux qui n'ont pas utilisé les vidéos ont mentionné des problèmes techniques (conjoncturels) et le défaut d'interactivité. Ceux qui les ont utilisé ont mentionné les compléments explicatifs donnés par l'enseignant qui font défaut au module, voire la possibilité de faire
« comme un vrai cours avec prises de notes »
.Les ressources externes (Stack Overflow, Developpez.com, Site Du Zéro) ont été utilisés pour leurs apports techniques (syntaxe complémentaire, gestion d'erreurs), pour lever des doutes sur le cours, pour aller plus loin que le cours (pour mener le projet typiquement). Les étudiants étranger utilise des ressources externes pour pouvoir travailler dans leur langue. Les étudiants issus de DUT ont utilisé leurs anciens cours.
On notera que les étudiants mentionnent qu'ils préfèrent faire une recherche Web pour éclaircir un point, plutôt que de poser une question sur le forum.
Les travaux de groupe s'organisent en fonction d'affinités (colocataires, amis, habitudes de travail) et/ou autour du projet, qui permet donc de créer un effet de groupe.
S'organiser pour le projet a poser des difficultés à certains (
« difficile de trouver un créneau, sauf le soir, comme dans chaque UV »
), et au contraire la modalité autonome a été favorable dans certains cas :« Pour une fois oui [nous avons réussi à nous organiser pour le projet]. Je pense que l'absence de cadre global nous a forcés à nous en créer un dès le début, ou à trouver des alternatives, style Git »
. Et l'on retrouve les caractéristiques inhérentes aux projets dans les conditions classiques : manque de motivation du groupe, implication inégale, problème de langue pour certains étudiants étrangers...Le temps de travail annoncé est entre 1 et 5 heures hebdomadaires (contre 7 à 10 préconisées). On notera des comportements irréguliers : pas de travail pendant une ou deux semaines, puis pics de 5h plusieurs jours de suite, jusqu'à 40h / semaine sur la fin (
« en dehors du projet, je dirais avoir commencé le semestre à 0h par semaine et avoir eu une moyenne de 40h par semaine sur la fin (c'est tout l'intérêt d'NA171 d'ailleurs) »
.NA17 est mentionnée comme une variable d'ajustement par rapport aux autres UV :
« N'ayant pas vraiment de contraintes j'ai adapté ma quantité de travail en NA17 à mes autres UV : j'ai travaillé parfois beaucoup plus, parfois beaucoup moins. J'aurais du mal à estimer une moyenne »
.Certain ont trouvé le dispositif plus efficace en autonomie (
« Assez peu comparable. Beaucoup plus "utile" et "efficace" en tout cas, c'est certain. C'est probablement l'une des seules UVs ou je ne bachoterai pas d'annale parce que le cours est très cohérent. »
), ou au contraire plus lent. Beaucoup trouve que c'est équivalent (à une UV du même ordre comme LO21 par exemple)Les insatisfactions générales sont liées à l'inadaptation de l'étudiant à l'autonomie, au manque de cours (
« frusté de ne pas avoir de cours magistraux »
) et TD (« Un module en autonomie ne me convient absolument pas, j'aimerai d'ailleurs pouvoir prendre nf17 au prochain semestre »
), et à la quantité de travail.Les satisfactions sont essentiellement liées au contenu (
« approfondissement par rapport aux antécédents »
) et à la gestion de son temps.« Pour ma part j'ai vraiment beaucoup aimé cette UV et ce format de travail, contenu vraiment intéressant, j'avais envie de la bosser et je l'ai d'ailleurs bien plus travaillé que mes UV habituelles. Par pression ou parce que le mode de travail souple me correspondait plus ? Je ne saurai pas le dire avec certitude. Je dois avouer tout de même que j'aurai peut être préféré avoir plus de TDs notamment sur la partie technique, puisque lire des lignes de code dans le poly n'était pas toujours très intuitif. »
« Pour moi, ça a été vraiment un plaisir de suivre NA17. Pourtant, si j'avais eu le choix au début du semestre entre la suivre de manière classique ou par correspondance, je pense que j'aurais choisi NF17 classique. Le format de l'UV permet de travailler comme on le souhaite, au moment qui nous semble opportun. Les deadlines sont précises et permettent de cadrer le travail chez soi, avec quelques TD qui ponctuent le semestre et sont l'occasion de poser toutes les questions qui sont restées sans réponses. L'UV gagnerait même peut-être à proposer un ou deux TD supplémentaires. [...] Les cours sont bien faits, et enchaîner les exercices permet de faire le point sur son niveau au fil des chapitres, en s'arrêtant quand celui-ci semble compris. Comme ça, on ne perd pas de temps en s'attardant sur des chapitres connus et on peut avancer à notre rythme. [...] Un vrai confort de travail. »
Mobilisation des ressources proposées
Les chiffres donnés ici sont des estimations réalisées à partir des questionnaires et des observations des enseignants. Il s'agit d'approximations, moyennées sur les deux expériences (lorsque les deux expériences sont concernées).
Module (cours et exercices) : usage élevé
90% des étudiants les utilisent. Les étudiants utilisent en moyenne plus de 50% des contenus. Certains utilisent quasiment 100% des contenus.
Cours magistraux : usage élevé
75% des étudiants assistent au moins à un cours. Les étudiants assistent en moyenne à 60% des cours. Certains assistent à 100% des cours.
TD : usage élevé
80% des étudiants assistent au moins à un TD. Les étudiants assistent en moyenne à 75% des TD. Certains assistent à 100% des TD.
Devoirs : usage modéré
33% des étudiants ont rendu un des deux devoirs (25% de ceux-ci ont renvoyé les deux).
Vidéo : usage modéré
33% des étudiants ont visionné au moins une vidéo (et la grande majorité des étudiants mentionnent que les vidéos sont utiles).
Séances en mode learning center : usage très faible (zéro à trois étudiants par séance, souvent juste pour une ou deux questions, une majorité de séances sans étudiant).
Forum : aucun usage (un ou deux mails isolés).
Comparaisons NA17/NF17
Considérations a priori
Le dispositif NA17 peut être estimé moins qualitatif de fait car les étudiants de NF17 disposent des mêmes supports que les étudiants NA17 et d'un taux d'encadrement supérieur. Pour l'ouverture à l'automne, ce déficit se creuse, les étudiants ne peuvent plus profiter des cours de NF17 en amphi. Mais pour rappel les hypothèses NA17 sont que ce niveau d'encadrement n'est pas utile pour tous les étudiants (apprentissage autonome) ou pas possible (flexibilité étudiante).
On notera que les évaluation ne sont plus stricto sensu les mêmes (elles ne sont plus que du même ordre). Il y a donc un risque de décalage entre l'enseignement de printemps et celui d'automne, mais ce phénomène est déjà connu pour les cours enseignés aux deux semestres (a fortiori avec deux enseignants responsables différents).
On relèvera enfin que la formation classique NF17 bénéficie de l'existence de NA17, par l'amélioration des supports sur laquelle elle se base.
Comparaisons a posteriori
La comparaison entre les deux modalités est encore difficile à mener de façon rigoureuse à ce stade. La première expérience du printemps 2014 présente des singularités qu'il faudra confronter au public de printemps 2015 (typologie des étudiants, taux d'étudiants inscrits par défaut...). La seconde expérience semble plutôt être une réussite, mais l'absence de comparaison objective de résultat rend cette conclusion critiquable.
Néanmoins à ce stade, les résultats sont suffisants pour permettre la poursuite du dispositif.
Précaution d'inscription
Si les résultats des étudiants de NA17 sont globalement comparables à ceux de NF17, on note un fort décrochage pour une partie de la population, relevé à la fois à travers les résultats et par l'équipe enseignante. Il s'agit :
des étudiants sans les antécédents informatiques nécessaires, à qui NF17 est déjà déconseillé, et qui se retrouvent encore plus déroutés en NA17 (essentiellement des étudiants de GI01 qui ne sont issus ni de l'UTC ni de DUT) ;
des étudiants de Master structurellement faibles en NF17 (à qui cette UV est également déjà déconseillée a priori) ;
et des étudiants étrangers, a fortiori en échange semestriel, qui ajoutent à leurs difficultés linguistiques et culturelles une nécessité d'auto-organisation d'autant plus difficile à surmonter qu'ils maîtrisent mal leur environnement (et d'autre part, ils perdent un peu de l'intérêt de leur échange puisqu'ils travaillent de façon plus isolée).
Je préconise d'alerter très explicitement ces étudiants sur leur inadéquation a priori à NA17 et sur les risques d'échec très importants.