Stage Ingénieur Data Engineer H/F - Kerlog

Au sein de notre entité JACLOUD, intégré à notre équipe technique et rattaché à notre Directeur Technique, votre stage consistera à la modernisation d'une plateforme BI & ELT Open Source.

JACLOUD souhaite moderniser sa plateforme décisionnelle actuelle, basée sur des traitements ETL historiques et un Data Warehouse MariaDB ColumnStore.

L'objectif du stage est de concevoir et prototyper une nouvelle architecture Data performante, scalable, Open Source et self-hosted, basée sur des technologies pouvant être intégrées gratuitement dans un produit commercial.

Un enjeu majeur sera de remplacer les rechargements massifs actuels de plusieurs années de données par des traitements incrémentaux, ne traitant que les données nouvelles ou modifiées.

Vous participerez notamment à :

- la conception d'une architecture ELT moderne orientée Python et SQL;
- la mise en oeuvre de traitements incrémentaux et l'étude du CDC avec Debezium;
- la comparaison de moteurs Data Warehouse colonnaires haute performance, notamment Apache Doris et ClickHouse;
- la réalisation de benchmarks sur des volumes de données importants ;
- l'étude de la gestion des INSERT, UPDATE et DELETE en mode incrémental ;
- l'évaluation d'Apache Superset pour la restitution BI ;
- la mise en place de tests, contrôles qualité, reprise sur erreur et CI/CD avec GitLab ;
- l'utilisation de l'IA comme assistance au développement Python/SQL et aux tests.

Les technologies proposées seront évaluées selon leurs performances, leur capacité à monter en charge et leur compatibilité avec une utilisation commerciale sous licence Open Source permissive.

Étudiant en dernière année d'école d'ingénieur ou Master 2, vous avez de bonnes bases en SQL et en développement, idéalement Python.

Vous êtes intéressé par le Data Engineering, les bases de données, les problématiques de performance et les architectures distribuées.

Des connaissances en Linux, Docker, Git ou BI constituent un plus. La connaissance préalable de Doris, ClickHouse ou Debezium n'est pas nécessaire.

À l'issue du stage, vous aurez contribué à définir et prototyper la future architecture Data de JACLOUD, avec une comparaison chiffrée des solutions étudiées et une stratégie de migration depuis l'architecture actuelle.

Il s'agit d'un sujet concret mêlant architecture, développement, R&D et benchmarks sur des données réelles, dont les résultats ont vocation à être industrialisés.

Vous avez un bon relationnel et aimez travailler en équipe afin de pouvoir échanger facilement avec nos équipes internes.

Vous faites preuve de rigueur et d'organisation dans le suivi de vos projets, et de curiosité pour aller chercher de l'information.

L'intégration et la formation sont pour nous des points essentiels sur lesquels nous accordons beaucoup d'importance afin de vous apporter un développement et un épanouissement professionnel efficace.

Vous souhaitez travailler dans une entreprise à taille humaine dans laquelle vous allez pouvoir vous investir sur un sujet innovant et grandir dans un secteur porteur. Alors envoyez-nous votre CV !

Le Groupe JACLA a pour vocation de rassembler des expertises métier à travers :

- l'informatique pour le monde de l'environnement
- l'analyse de données
- le conseil.

Parti du monde informatique, le Groupe JACLA a su se développer par son expertise métier notamment dans le secteur de l'environnement et des logiciels.

Pour cela le Groupe JACLA compte les entités suivantes :

KERLOG est une PME dynamique et innovante, spécialisée depuis 20 ans dans l'édition de logiciels à destination des métiers de la récupération et du recyclage des déchets. Leader du marché, KERLOG s'appuie sur son expertise métier et informatique. L'importance de la réglementation et la demande en traçabilité des déchets, imposent la mise en place de nouveaux outils informatiques. KERLOG propose également une offre dédiée au management des sociétés et des organisations à travers ses activités de conseil et de formation.

Avec plus de 350 clients, nous sommes présents sur toute la France et dans les DOM TOM. Intervenant exclusivement dans le domaine de l'environnement, KERLOG déploie la suite logicielle EcoREC sur une cible de PME, de groupes industriels.

COLLECTIF SOFT, née d'un spin-off avec la société KERLOG est une entité du groupe dédiée à l'ingénierie logicielle destiné aux collectivités locales ayant les compétences collecte, traitement et valorisation des déchets sur l'ensemble du territoire.

JACLOUD filiale du groupe, spécialisée dans le développement de logiciel dédiés aux métiers de l'environnement et de la facturation et gestion d'infrastructure hébergées. JACLOUD accompagne les entreprises dans la modernisation de leurs systèmes, le déploiement de solution et la sécurisation de leurs environnements.

KERLING filiale du groupe, dédiée à la conception, la fabrication, l'installation et la maintenance des bornes pour automatiser les pesées et contrôler l'accès aux déchetteries.

Rejoindre le Groupe JACLA c'est adhérer à une équipe où l'humain et l'esprit collectif est le plus important. C'est aussi participer à un projet porteur de sens où chacun trouvera sa place et pourra évoluer et se réaliser dans cette organisation collaborative et pérenne.