Logo PTB

Analyse internationaler Ringvergleiche („key comparisons“)

Arbeitsgruppe 8.42

Inhalt

Internationale Ringvergleiche („key comparisons“) sind Vergleichsmessungen zwischen Laboratorien verschiedener metrologischer Staatsinstitute (NMIs), die im Rahmen des „Mutual Recognition Arrangement“ (Opens external link in new windowMRA) regelmäßig durchgeführt werden. Das MRA wurde inzwischen von mehr als 98 Instituten unterzeichnet. Internationale Ringvergleiche ermöglichen die gegenseitige Anerkennung von  Kalibrierungen und Zertifikaten der metrologischen Staatsinstitute. Sie sind ein wichtiger Schritt bei der Unterstützung von internationalem Handel und gesetzlichem Messwesen. Um die Kompatibilität der Messmöglichkeiten der NMIs zu garantieren, legt das MRA fest, dass Ringvergleiche regelmäßig durchgeführt werden. Basierend auf der Analyse der Daten der Ringvergleiche werden auch die Kalibrier- und Messgenauigkeiten (Opens external link in new windowCMCs) der NMIs validiert. Die Abschlussberichte und technischen Daten zu abgeschlossenen Ringvergleiche sind in der Datenbank Opens external link in new windowKCDB am Bureau International des Poids et Mesures (Opens external link in new windowBIPM) gespeichert und öffentlich zugänglich. Abbildung 1 zeigt ein typisches Beispiel von Ringvergleichsdaten.

Beispieldaten eines Ringvergleiches zusammen mit dem Referenzwert (KCRV).
Abb. 1: Beispieldaten eines Ringvergleiches zusammen mit dem Referenzwert (KCRV). Die Kontrollmessungen des sogenannten Pilotlaboratoriums sind blau markiert.

Das Ziel einer Analyse von Ringvergleichsdaten ist es, den Grad der Übereinstimmung („degree of equivalence“) zwischen den teilnehmenden Laboratorien zu bestimmen. Auf Basis der Messergebnisse einschließlich der angegebenen Messunsicherheiten wird dann ein Referenzwert („key comparison reference value“ , KCRV) bestimmt, der gemäß MRA zur Berechnung der „degrees of equivalence“ (DoEs) als Differenz zwischen den Messergebnissen der Laboratorien und dem KCRV zu verwenden ist. Die entsprechenden Unsicherheiten von Differenzen sind ebenfalls bestimmt. Die DoEs quantifizieren inwieweit die Laboratorien kompatibel sind. Sie können auch für die Beurteilung, ob die Laboratorien so gut messen, wie sie es angeben, verwendet werden. Falls ein DoE signifikant von Null abweicht, wird das CMC des entsprechenden Laboratoriums als nicht validiert angesehen.

Allgemein kann die Analyse von Ringvergleichen als eine Opens external link in new windowMetaanalyse betrachtet werden. Gängige Methoden für Metaanalysen (z.B. „fixed effects model“ oder „random effects model“) wurden ebenfalls für die Analyse von Ringvergleichen vorgeschlagen. Häufig werden aber einfachere Methoden, wie z. B. der Mittelwert, der Median oder das gewichtete Mittel für die Berechnung eines KCRV eingesetzt. Zu Methoden, die für die Analyse von Ringvergleichen angewendet werden, gehört auch die explizite oder implizite Entfernung von Ausreißern.

Der „Guide to the Expression of Uncertainty in Measurement“ (Opens external link in new windowGUM) ist die Leitlinie für die Unsicherheitsberechnung in der Metrologie. Neuere Ergänzungsdokumente zum GUM nähern sich der Bayesschen Sichtweise an. Bayessche Methoden wurden ebenfalls schon für die Analyse von Ringvergleichen vorgeschlagen. Bei einem Bayesschen Ansatz wird eine sog. Posterior-Verteilung für die unbekannten Größen, wie z. B. die DoEs, abgeleitet, vgl. Abbildung 2.

Beispiel von Posterior-Verteilungen der „degrees of equivalence“ (DoEs.)
Abb. 2: Beispiel von Posterior-Verteilungen der „degrees of equivalence“ (DoEs), die durch einen Bayes-Ansatz für die Daten aus Abb. 1 erhalten worden sind.

Aktuelle und zukünftige Forschung bei der Bayesschen Analyse von Ringvergleichen umfasst unter anderem die Wahl eines Priors. Dies beinhaltet die Beschreibung von verfügbarem Prior-Wissen durch eine Wahrscheinlichkeitsfunktion oder die Auswahl eines geeigneten nichtinformativen Priors. Ein anderer Aspekt ist die Verwendung von Verteilungen, die über die Normalverteilung hinausgehen und zu robusteren Verfahren führen.

Nach oben

Software

Bayessche Hypothesenprüfung für Ringvergleiche

Die bei der Analyse von Ringvergleichen eingesetzten Verfahren zur Überprüfung der Mess- und Kalibrierfähigkeit eines Labors  können häufig als Anwendung eines klassischen Hypothesentests angesehen werden. In der PTB Arbeitsgruppe 8.42 ist eine alternative Bayessche Methodik zur Hypthesenprüfung bei Ringvergleichen entwickelt worden. Der Vorteil dieser neuen Methode besteht darin, dass Vorwissen über die am Ringvergleich teilnehmenden Labore in der Auswertung  berücksichtigt werden kann. Um die Anwendung der Bayesschen Methodik für Hypothesentests zu erleichtern werden entsprechende  MATLAB- und R-Implementierungen zur Verfügung gestellt. Die Initiates file downloadSoftware ermöglicht die Berücksichtigung von Korrelation und unterschiedlichen Prior-Wahrscheinlichkeiten für die Labore. Die Software beinhaltet auch Routinen zur Eingabe der Daten des Ringvergleichs sowie zur graphischen Aufbereitung  der Ergebnisse. 

Zugehörige Publikation

G. Wübbeler, O. Bodnar and C. Elster (2016). Bayesian hypothesis testing for key comparisons. Metrologia 53(4), [DOI: 10.1088/0026-1394/53/4/1131].

Nach oben

Publikationen

Publikations Einzelansicht

Artikel

Titel: Analysis of Key Comparisons Incorporating Knowledge About Bias
Autor(en): I. Lira, A. G. Chunovkina, C. Elster and W. Wöger
Journal: IEEE Transactions on Instrumentation and Measurement
Jahr: 2012
Band: 61
Ausgabe: 8
Seite(n): 2079--2084
DOI: 10.1109/TIM.2012.2193690
ISSN: 0018-9456
Web URL: http://ieeexplore.ieee.org/lpdocs/epic03/wrapper.htm?arnumber=6189781
Schlüsselwörter: Atmospheric measurements,Bayesian methods,Bismuth,Gaussian distribution,Laboratories,Measurement uncertainty,Particle measurements,Systematics,Uncertainty,laboratory bias estimation,measurement errors,measurement uncertainty,performance evaluation,statistical analysis,systematic effect,vanishing bias estimation
Marker: 8.42,KC
Zusammenfassung: A method is proposed for analyzing key comparison data. It is based on the assumption that each laboratory participating in the comparison exercise obtains independent and consistent estimates of the measurand and that, in addition, each laboratory provides an estimate of the quantity that collects all systematic effects that the laboratory took into account. The unknown value of the latter quantity, subtracted from its estimate, is defined as the laboratory's bias. The uncertainties associated with the estimates of the measurand and with the vanishing biases' estimates are also assumed to be reported. In this paper, we show that the information provided in this way may be of help for judging the performances of the laboratories in their correction of systematic effects. This is done by developing formulas for the final (consensus) estimates and uncertainties of the measurand and of the biases. Formulas for the final estimates and uncertainties of the pairwise differences between the biases are also developed. An example involving simulated key comparison data makes apparent the benefits of the proposed approach.

Zurück zur Listen Ansicht

Nach oben