Academic literature on the topic 'Hydrologic Ensemble Prediction Systems'

Nous abordons la prévision probabiliste des débits à partir de deux perspectives basées sur la complémentarité de multiples modèles hydrologiques (diversité). La première exploite une méthodologie hybride basée sur l’évaluation de plusieurs modèles hydrologiques globaux et d’outils d’apprentissage automatique pour la sélection optimale des prédicteurs, alors que la seconde fait recourt à la construction d’ensembles de réseaux de neurones en forçant la diversité. Cette thèse repose sur le concept de la diversité pour développer des méthodologies différentes autour de deux problèmes pouvant être considérés comme complémentaires. La première approche a pour objet la simplification d’un système complexe de prévisions hydrologiques d’ensemble (dont l’acronyme anglais est HEPS) qui dispose de 800 scénarios quotidiens, correspondant à la combinaison d’un modèle de 50 prédictions météorologiques probabilistes et de 16 modèles hydrologiques globaux. Pour la simplification, nous avons exploré quatre techniques: la Linear Correlation Elimination, la Mutual Information, la Backward Greedy Selection et le Nondominated Sorting Genetic Algorithm II (NSGA-II). Nous avons plus particulièrement développé la notion de participation optimale des modèles hydrologiques qui nous renseigne sur le nombre de membres météorologiques représentatifs à utiliser pour chacun des modèles hydrologiques. La seconde approche consiste principalement en la sélection stratifiée des données qui sont à la base de l’élaboration d’un ensemble de réseaux de neurones qui agissent comme autant de prédicteurs. Ainsi, chacun d’entre eux est entraîné avec des entrées tirées de l’application d’une sélection de variables pour différents échantillons stratifiés. Pour cela, nous utilisons la base de données du deuxième et troisième ateliers du projet international MOdel Parameter Estimation eXperiment (MOPEX). En résumé, nous démontrons par ces deux approches que la diversité implicite est efficace dans la configuration d’un HEPS de haute performance.<br>In this thesis, we tackle the problem of streamflow probabilistic forecasting from two different perspectives based on multiple hydrological models collaboration (diversity). The first one favours a hybrid approach for the evaluation of multiple global hydrological models and tools of machine learning for predictors selection, while the second one constructs Artificial Neural Network (ANN) ensembles, forcing diversity within. This thesis is based on the concept of diversity for developing different methodologies around two complementary problems. The first one focused on simplifying, via members selection, a complex Hydrological Ensemble Prediction System (HEPS) that has 800 daily forecast scenarios originating from the combination of 50 meteorological precipitation members and 16 global hydrological models. We explore in depth four techniques: Linear Correlation Elimination, Mutual Information, Backward Greedy Selection, and Nondominated Sorting Genetic Algorithm II (NSGA-II). We propose the optimal hydrological model participation concept that identifies the number of meteorological representative members to propagate into each hydrological model in the simplified HEPS scheme. The second problem consists in the stratified selection of data patterns that are used for training an ANN ensemble or stack. For instance, taken from the database of the second and third MOdel Parameter Estimation eXperiment (MOPEX) workshops, we promoted an ANN prediction stack in which each predictor is trained on input spaces defined by the Input Variable Selection application on different stratified sub-samples. In summary, we demonstrated that implicit diversity in the configuration of a HEPS is efficient in the search for a HEPS of high performance.

La prévision hydrologique consiste à évaluer quelle sera l'évolution du débit au cours des prochains pas de temps. En utilisant les systèmes actuels de prévisions hydrologiques déterministes, il est impossible d'apprécier simplement l'incertitude associée à ce type de prévision, ce que peut nuire à la prise de décisions. La prévision hydrologique d'ensemble (PHE) cherche à étayer cette incertitude en proposant, à chaque pas de temps, une distribution de probabilité, la prévision probabiliste, en place et lieu d'une estimation unique du débit, la prévision déterministe. La PHE offre de nombreux bénéfices : elle informe l'utilisateur de l'incertitude; elle permet aux autorités qui prennent des décisions de déterminer des critères d'alerte et de mettre en place des scénarios d'urgence; elle fournit les informations nécessaires à la prise de décisions tenant compte du risque. L'objectif principal de cette thèse est l'évaluation de prévisions hydrologiques d'ensemble, en mettant l'accent sur la performance et la fiabilité de celles-ci. Deux techniques pour construire des ensembles sont explorées: a) une première reposant sur des prévisions météorologiques d'ensemble (PME) et b) une seconde exploitant simultanément un ensemble de modèles hydrologiques (multimodèle). En termes généraux, les objectifs de la thèse ont été établis afin d'évaluer : a) les incertitudes associées à la structure du modèle : une étude qui repose sur des simulations journalières issues de dix-sept modèles hydrologiques globaux, pour plus de mille bassins versants français; b) les incertitudes associées à la prévision météorologique : une étude qui exploite la PME du Service Météorologique du Canada et un modèle hydrologique opérationnel semi-distribué, pour un horizon de 3 jours sur douze bassins versants québécois; c) les incertitudes associées à la fois à la structure du modèle et à la prévision météorologique : une étude qui repose à la fois sur la PME issue du ECMWF (European Centre for Medium-Range Weather Forecasts) et seize modèles hydrologiques globaux, pour un horizon de 9 jours sur 29 bassins versants français. Les résultats mets en évidence les avantages des systèmes probabilistes par rapport aux les déterministes. Les prévisions probabilistes sont toutefois souvent affectées par une sous dispersion de leur distribution prédictive. Elles exigent alors un post traitement avant d'être intégrées dans un processus de prise de décision. Plus intéressant encore, les résultats ont également montré le grand potentiel de combiner plusieurs sources d'incertitude, notamment celle associée à la prévision météorologique et celle associée à la structure des modèles hydrologiques. Il nous semble donc prioritaire de continuer à explorer davantage cette approche combinatoire.

Les simulations et prévisions hydrologiques sont sujettes à diverses sources d'incertitudes, qui sont malheureusement inévitables. La cascade d'incertitude provient de différentes composantes de la chaîne de prévision, telles que la nature chaotique de l'atmosphère, diverses conditions initiales et limites, une modélisation hydrologique conceptuelle nécessairement inexacte et des paramètres stationnaires incohérents avec un environnement en mutation. La prévision d'ensemble s'avère un outil puissant pour représenter la croissance des erreurs dans le système dynamique et pour capter les incertitudes associées aux différentes sources. Thiboult et al. (2016) ont construit un grand ensemble de 50,000 membres qui tient compte de l'incertitude des prévisions météorologiques, de celle des conditions initiales et l’incertitude structurale. Ce vaste ensemble de 50,000 membres peut également être séparé en sous-composants afin de démêler les trois principales sources d’incertitude mentionnées ci-dessus. Emixi Valdez a donc généré un autre H-EPS multimodèles et calibré pour différents bassins hydrographiques suivant un modèle similaire. Cependant, les résultats obtenus ont été simplement agrégés, en considérant les membres équiprobables. Bien que les systèmes de prévision hydrologique multimodèles puissent être considérés comme un système très complet, ils sont néanmoins exposés à d'autres incertitudes. Par exemple, les prévisions météorologiques des recherches de Thiboult et al. (2016) ont été pré-testées sur certains bassins versants. Ces tests ont montré que les performances dues à l'assimilation de données s'estompent rapidement avec l’horizon de prévision. De plus, en réalité, les utilisateurs peuvent ne pas être en mesure d’utiliser parfaitement tous les outils de prévision (c’est-à-dire les prévisions météorologiques d’ensemble, l’assimilation de données et le schéma multimodèle) conjointement. Par conséquent, il existe toujours une place pour l'amélioration permettant d'augmenter la fiabilité et la résolution des prévisions grâce à un post-traitement statistique approprié. L'objectif global de cette recherche est d'explorer l'utilisation appropriée et les compétences prévisionnelles de divers algorithmes statistiques afin de post-traiter séparément les prévisions de débit provenant d’un modèle unique ainsi que les prévisions multimodèles. Premièrement, nous avons testé l’efficacité de méthodes depost-traitement telles que le Affine Kernel Dressing (AKD) et le Non-dominated sorting genetic algorithm II (NSGA-II) en comparant les prévisions post-traitées par ces méthodes aux soties brutes de systèmes de prévision à modèle unique. Ces deux méthodes sont théoriquement / techniquement distinctes, mais partagent toutefois la même caractéristique, à savoir qu’elles ne nécessitent pas d’hypothèse paramétrique concernant la distribution des membres de la prévision d’ensemble. Elles peuvent donc être considérées comme des méthodes de post-traitement non paramétriques. Dans cette étude, l'analyse des fronts de Pareto générés avec NSGA-II a démontré la supériorité de l'ensemble post-traité en éliminant efficacement les biais des prévisions et en maintenant une bonne dispersion pour tous les horizons de prévision. Deux autres méthodes de post-traitement, à savoir le Bayesian Model Averaging (BMA) et le Copula-BMA, ont également été comparées. Ces deux méthodes ont permis d’obtenir des distributions prédictives à partir de prévisions de débit journalier émises par cinq systèmes de prévision d'ensemble hydrologiques différents. Les poids obtenus par la méthode du BMA quantifient le niveau de confiance que l'on peut avoir à l'égard de chaque modèle hydrologique candidat et conduisent à une fonction de densité prédictive (PDF) contenant des informations sur l'incertitude. Le BMA améliore la qualité globale des prévisions, principalement en maintenant la dispersion de l'ensemble avec l’horizon de prévision. Il a également la capacité d’améliorer la fiabilité des systèmes multimodèles qui n’incluent que deux sources d’incertitudes. Le BMA est donc efficace pour améliorer la fiabilité et la résolution des prévisions hydrologiques. Toutefois, le BMA souffre de limitations dues au fait que les fonctions de densité de probabilité conditionnelle (PDF) doivent suivre une distribution paramétrique connue (ex., normale, gamma). Par contre, le modèle prédictif Copula-BMA ne requiert pas une telle hypothèse et élimine aussi l'étape de transformation de puissance, qui est nécessaire pour le BMA. Dans cette étude, onze types de distributions marginales univariées et six fonctions de copule de différents niveaux de complexité ont été explorés dans un cadre Copula-BMA. Cela a permis de représenter de manière exhaustive la structure de dépendance entre des couples de débits prévus et observés. Les résultats démontrent la supériorité du Copula-BMA par rapport au BMA pour réduire le biais dans les prévisions et maintenir une dispersion appropriée pour tous les horizons de prévision.<br>Hydrological simulations and forecasts are subject to various sources of uncertainties. Forecast uncertainties are unfortunately inevitable when conducting the deterministic analysis of a dynamical system. The cascade of uncertainty originates from different components of the forecasting chain, such as the chaotic nature of the atmosphere, various initial conditions and boundaries, necessarily imperfect hydrologic modeling, and the inconsistent stationnarity assumption in a changing environment. Ensemble forecasting is a powerful tool to represent error growth in the dynamical system and to capture the uncertainties associated with different sources. Thiboult et al. (2016) constructed a 50,000-member great ensemble that accounts for meteorological forcing uncertainty, initial conditions uncertainty, and structural uncertainty. This large ensemble can also be separated into sub-components to untangle the three main sources of uncertainties mentioned above. In asimilar experiment, another multimodel hydrological ensemble forecasting system implemented for different catchments was produced by Emixi Valdez. However,in the latter case, model outputs were simply pooled together, considering the members equiprobable. Although multimodel hydrological ensemble forecasting systems can be considered very comprehensive, they can still underestimate the total uncertainty. For instance, the meteorological forecasts in there search of Thiboult et al. (2016) were pre-tested on some watersheds. It was found out that the forecasting performance of data assimilation fades away quickly as the lead time progresses. In addition, operational forecasts users may not able to perfectly utilize all the forecasting tools (i.e., meteorological ensemble forcing, data assimilation, and multimodel) jointly. Therefore, there is still room for improvement to enhance the forecasting skill of such systems through proper statistical post-processing.The global objective of this research is to explore the proper use and predictive skill of various statistical post-processing algorithms by testing them on single-model and multimodel ensemble stream flow forecasts. First, we tested the post-processing skills of Affine kernel dressing (AKD) and Non-dominated sorting genetic algorithm II (NSGA-II) over single-model H-EPSs. Those two methods are theoretically/technically distinct yet are both non-parametric. They do not require the raw ensemble members to follow a specific parametric distribution.AKD-transformed ensembles and the Pareto fronts generated with NSGA-II demonstrated the superiority of post-processed ensembles compared to raw ensembles. Both methods where efficient at eliminating biases and maintaining a proper dispersion for all forecasting horizons. For multimodel ensembles, two post-processors, namely Bayesian model averaging (BMA) and the integrated copula-BMA, are compared for deriving a pertinent joint predictive distribution of daily streamflow forecasts issued by five different single-model hydrological ensemble prediction systems (H-EPSs). BMA assign weights to different models. Forecasts from all models are then combined to generate more skillful and reliable probabilistic forecasts. BMA weights quantify the level of confidence one can have regarding each candidate hydrological model and lead to a predictive probabilistic density function (PDF) containing information about uncertainty. BMA improves the overall quality of forecasts mainly by maintaining the ensemble dispersion with the lead time. It also improves the reliability and skill of multimodel systems that only include two sources of uncertainties compared to the 50,000-member great ensemble from Thiboult et al (2016). Furthermore, Thiboult et al. (2016) showed that the meteorological forecasts they used were biased and unreliable on some catchments. BMA improves the accuracy and reliability of the hydrological forecasts in that case as well.However, BMA suffers from limitations pertaining to its conditional probability density functions (PDFs), which must follow a known parametric distribution form (e.g., normal, gamma). On the contrary, Copula-BMA predictive model fully relaxes this constraint and also eliminates the power transformation step. In this study, eleven univariate marginal distributions and six copula functions are explored in a Copula-BMA framework for comprehensively reflecting the dependence structure between pairs of forecasted and observed streamflow. Results demonstrate the superiority of the Copula-BMAcompared to BMA in eliminating biases and maintaining an appropriate ensemble dispersion for all lead-times.

Artificial Neural Networks (ANNs) have been comprehensively researched, both from a computer scientific perspective and with regard to their use for predictive modelling in a wide variety of applications including hydrology and the environment. Yet their adoption for live, real-time systems remains on the whole sporadic and experimental. A plausible hypothesis is that this may be at least in part due to their treatment heretofore as “black boxes” that implicitly contain something that is unknown, or even unknowable. It is understandable that many of those responsible for delivering Early Warning Systems (EWS) might not wish to take the risk of implementing solutions perceived as containing unknown elements, despite the computational advantages that ANNs offer. This thesis therefore builds on existing efforts to open the box and develop tools and techniques that visualise, analyse and use ANN weights and biases especially from the viewpoint of neural pathways from inputs to outputs of feedforward networks. In so doing, it aims to demonstrate novel approaches to self-improving predictive model construction for both regression and classification problems. This includes Neural Pathway Strength Feature Selection (NPSFS), which uses ensembles of ANNs trained on differing subsets of data and analysis of the learnt weights to infer degrees of relevance of the input features and so build simplified models with reduced input feature sets. Case studies are carried out for prediction of flooding at multiple nodes in urban drainage networks located in three urban catchments in the UK, which demonstrate rapid, accurate prediction of flooding both for regression and classification. Predictive skill is shown to reduce beyond the time of concentration of each sewer node, when actual rainfall is used as input to the models. Further case studies model and predict statutory bacteria count exceedances for bathing water quality compliance at 5 beaches in Southwest England. An illustrative case study using a forest fires dataset from the UCI machine learning repository is also included. Results from these model ensembles generally exhibit improved performance, when compared with single ANN models. Also ensembles with reduced input feature sets, using NPSFS, demonstrate as good or improved performance when compared with the full feature set models. Conclusions are drawn about a new set of tools and techniques, including NPSFS and visualisation techniques for inspection of ANN weights, the adoption of which it is hoped may lead to improved confidence in the use of ANN for live real-time EWS applications.

Thesis (M.S. in Meteorology)--Naval Postgraduate School, March 2006.<br>Thesis Advisor(s): Carlyle H. Wash, Patrick A. Harr. "March 2006." Includes bibliographical references (p. 129). Also available online.

Approved for public release; distribution is unlimited.<br>The skill of a combined grand ensemble (GE), which is constructed from three operational global ensemble prediction systems (EPS), is evaluated with respect to the probability forecast of a tropical cyclone (TC) being within a specified area. Anisotropic probability ellipses are defined from the GE to contain 68% of the ensemble members. Forecast reliability is based on whether the forecast verifying position is within the ellipse. A sharpness parameter is based on the size of the GE-based probability ellipse relative to other operational forecast probability ellipses. For the 2010 Atlantic TC season, results indicate that the GE ellipses exhibit a high degree of reliability whereas the operational probability circle tends to be over-dispersive. Additionally, the GE ellipse tends to be sharper than the operational product for forecast intervals beyond 48 hours. The size and shape of the GE ellipses varied with TC track types, which suggests that information about the physics of the flow-dependent system is retained whereas isotropic probability ellipses may not reflect variability associated with track type. It is concluded that the GE probability ellipse demonstrates utility for combined EPS to enhance probabilistic forecasts for use as TC-related decision aids, as there is a potential for reducing the sizes of warning areas.

Classification is a data mining problem that arises in many real-world applications. A popular approach to tackle these classification problems is using an ensemble of classifiers that combines the collective knowledge of several classifiers. Most popular methods create a static ensemble, in which a single ensemble is constructed or chosen from a pool of classifiers and used for all new data instances. Two factors that have been frequently used to construct a static ensemble are the accuracy of and diversity among the individual classifiers. There have been many studies investigating how these factors should be combined and how much diversity is required to increase the ensemble's performance. These results have concluded that it is not trivial to build a static ensemble that generalizes well. Recently, a different approach has been undertaken: dynamic ensemble construction. Using a different set of classifiers for each new data instance rather than a single static ensemble of classifiers may increase performance since the dynamic ensemble is not required to generalize across the feature space. Most studies on dynamic ensembles focus on classifiers' competency in the local region in which a new data instance resides or agreement among the classifiers. In this thesis, we propose several other approaches for dynamic class prediction. Existing methods focus on assigned labels or their correctness. We hypothesize that using the class probability estimates returned by the classifiers can enhance our estimate of the competency of classifiers on the prediction. We focus on how to use class prediction probabilities (confidence) along with accuracy and diversity to create dynamic ensembles and analyze the contribution of confidence to the system. Our results show that confidence is a significant factor in the dynamic setting. However, it is still unclear how accurate, diverse, and confident ensemble can best be formed to increase the prediction capability of the system. Second, we propose a system for dynamic ensemble classification based on a new distance measure to evaluate the distance between data instances. We first map data instances into a space defined by the class probability estimates from a pool of two-class classifiers. We dynamically select classifiers (features) and the k-nearest neighbors of a new instance by minimizing the distance between the neighbors and the new instance in a two-step framework. Results of our experiments show that our measure is effective for finding similar instances and our framework helps making more accurate predictions. Classifiers' agreement in the region where a new data instance resides has been considered a major factor in dynamic ensembles. We postulate that the classifiers chosen for a dynamic ensemble should behave similarly in the region in which the new instance resides, but differently outside of this area. In other words, we hypothesize that high local accuracy, combined with high diversity in other regions, is desirable. To verify the validity of this hypothesis we propose two approaches. The first approach focuses on finding the k-nearest data instances to the new instance, which then defines a neighborhood, and maximizes simultaneously local accuracy and distant diversity, based on data instances outside of the neighborhood. The second method considers all data instances to be in the neighborhood, and assigns them weights depending on the distance to the new instance. We demonstrate through several experiments that weighted distant diversity and weighted local accuracy outperform all benchmark methods.