Guide de Gestion des Datasets IBIS-X

flowchart TD
    A[Scripts d'Initialisation] --> B[Base de Données PostgreSQL]
    A --> C[Stockage d'Objets MinIO/Azure]
    D[Auto-Initialisation] --> A
    E[API FastAPI] --> B
    E --> C
    F[Frontend Angular] --> E

    subgraph "Métadonnées"
        B
    end

    subgraph "Fichiers de Données"
        C
    end

    subgraph "Initialisation"
        A
        D
    end

# Activer l'auto-initialisation
export AUTO_INIT_DATA=true

# Extrait de service-selection/app/auto_init.py
async def auto_init_startup():
    """Fonction de startup pour l'auto-initialisation."""
    if not should_auto_init():
        logger.info("AUTO_INIT_DATA non activé - pas d'auto-initialisation")
        return

    if check_data_already_initialized():
        logger.info("🛡️  Données déjà initialisées - skip auto-initialisation")
        return

    # Lancement de l'initialisation...

# Initialiser un dataset spécifique
python scripts/init_datasets.py [ednet|oulad|students|social|academic|depression|stress]

# Initialiser tous les datasets
python scripts/init_datasets.py all

def init_my_new_dataset():
    """
    Initialise le dataset My New Dataset avec son fichier et colonnes.
    """

    # Configuration de la base de données
    try:
        database_url = DATABASE_URL
        print(f"🔌 Connexion à la base de données...")
    except Exception as e:
        print(f"❌ Erreur de configuration base de données: {e}")
        sys.exit(1)

    # Créer l'engine et la session
    engine = create_engine(database_url)
    SessionLocal = sessionmaker(autocommit=False, autoflush=False, bind=engine)

    with SessionLocal() as session:
        try:
            # === SUPPRESSION DES DONNÉES EXISTANTES ===
            print("🗑️  Suppression des données existantes pour 'My New Dataset'...")

            existing_dataset = session.query(Dataset).filter(
                Dataset.dataset_name == "My New Dataset"
            ).first()

            if existing_dataset:
                session.delete(existing_dataset)
                session.commit()
                print("✅ Données existantes supprimées")

            # === CRÉATION DU DATASET ===
            print("📊 Création du dataset My New Dataset...")

            dataset_id = str(uuid.uuid4())

            # Générer et uploader le fichier
            csv_file_path = "datasets/my_new_dataset.csv"
            storage_path, row_count, file_size = upload_real_dataset_file(
                dataset_id=dataset_id,
                csv_file_path=csv_file_path,
                filename_base="my_new_dataset"
            )

            # Créer l'entrée Dataset
            dataset = Dataset(
                id=dataset_id,
                dataset_name="My New Dataset",
                year=2025,
                objective="Description de l'objectif du dataset",
                access="public",
                availability="online_download",
                domain=["domaine1", "domaine2"],
                storage_path=storage_path,
                instances_number=row_count,
                features_number=10,  # Nombre de colonnes
                # ... autres attributs ...
            )

            session.add(dataset)
            session.flush()

            # Créer l'entrée DatasetFile
            dataset_file = DatasetFile(
                dataset_id=dataset.id,
                file_name_in_storage="my_new_dataset.parquet",
                logical_role="main_data",
                format="parquet",
                mime_type="application/parquet",
                size_bytes=file_size,
                row_count=row_count,
                description="Description du fichier"
            )

            session.add(dataset_file)
            session.flush()

            # Créer les entrées FileColumn
            columns_data = [
                {
                    'name': 'colonne1', 'type_orig': 'string', 'type_interp': 'categorical',
                    'desc': 'Description de la colonne 1', 'pos': 1, 'is_pk': True, 'is_null': False,
                    'is_pii': False, 'examples': ['exemple1', 'exemple2', 'exemple3']
                },
                # ... autres colonnes ...
            ]

            for col_info in columns_data:
                file_column = FileColumn(
                    dataset_file_id=dataset_file.id,
                    column_name=col_info['name'],
                    data_type_original=col_info['type_orig'],
                    data_type_interpreted=col_info['type_interp'],
                    description=col_info['desc'],
                    is_primary_key_component=col_info['is_pk'],
                    is_nullable=col_info['is_null'],
                    is_pii=col_info['is_pii'],
                    example_values=col_info['examples'],
                    position=col_info['pos']
                )
                session.add(file_column)

            # Valider toutes les modifications
            session.commit()

            print("\n🎉 Dataset 'My New Dataset' initialisé avec succès !")

        except Exception as e:
            session.rollback()
            print(f"❌ Erreur lors de l'initialisation: {e}")
            raise

def main():
    """Point d'entrée principal du script."""

    if len(sys.argv) > 1:
        dataset_name = sys.argv[1].lower()
        # ... code existant ...
        elif dataset_name == "mynewdataset":
            print("📊 Initialisation du dataset My New Dataset uniquement")
            try:
                init_my_new_dataset()
                print("\n✅ Dataset My New Dataset initialisé avec succès !")
            except Exception as e:
                print(f"\n❌ Échec de l'initialisation My New Dataset: {e}")
                sys.exit(1)
        elif dataset_name == "all":
            # ... code existant ...
            init_my_new_dataset()
            print("\n✅ Dataset My New Dataset initialisé avec succès !")
            # ... code existant ...

# Initialiser uniquement votre dataset
python scripts/init_datasets.py mynewdataset

# Vérifier qu'il est inclus dans l'initialisation complète
python scripts/init_datasets.py all

def upload_real_dataset_file(dataset_id: str, csv_file_path: str, filename_base: str = "dataset") -> tuple:
    """
    Lit un vrai fichier CSV, le convertit en Parquet et l'uploade vers le stockage d'objets.

    Args:
        dataset_id: UUID du dataset
        csv_file_path: Chemin vers le fichier CSV source
        filename_base: Nom de base pour le fichier (sans extension)

    Returns:
        tuple: (storage_path_prefix, row_count, file_size_bytes)
    """

def upload_sample_dataset(dataset_id: str, sample_data_dict: dict, filename_base: str = "sample_data") -> str:
    """
    Génère et upload des données échantillons vers le stockage d'objets.

    Args:
        dataset_id: UUID du dataset
        sample_data_dict: Dictionnaire contenant les données échantillons
        filename_base: Nom de base pour le fichier (sans extension)

    Returns:
        storage_path: Préfixe du dossier de stockage
    """

def upload_multiple_sample_files(dataset_id: str, files_data: list) -> str:
    """
    Génère et upload plusieurs fichiers échantillons vers le stockage d'objets.

    Args:
        dataset_id: UUID du dataset
        files_data: Liste des dictionnaires contenant les données pour chaque fichier

    Returns:
        storage_path: Préfixe du dossier de stockage
    """

# Vérifier les datasets en base de données
kubectl exec -n IBIS-X deployment/service-selection -- python -c "
from app.database import SessionLocal
from app.models import Dataset
with SessionLocal() as db:
    datasets = db.query(Dataset).all()
    for ds in datasets:
        print(f'{ds.id}: {ds.dataset_name} ({ds.storage_path})')
"

# Vérifier les fichiers dans MinIO
kubectl exec -n IBIS-X deployment/minio -- mc ls minio/IBIS-X-datasets/

# Réinitialiser un dataset spécifique
kubectl exec -n IBIS-X deployment/service-selection -- python scripts/init_datasets.py social