ДЕРЖАВНИЙ КОМІТЕТ СТАТИСТИКИ УКРАЇНИ
Н А К А З
| 05.06.2008 N 178 |
Про затвердження Методологічних положень з підготовки стандартних звітів щодо якості результатів державних вибіркових обстежень населення (домогосподарств)
Відповідно до статті 14 Закону України "Про державну статистику" та з метою забезпечення доступності, гласності та відкритості статистичної інформації, її джерел та методології складання
НАКАЗУЮ:
1. Затвердити схвалені методичною комісією Держкомстату Методологічні положення з підготовки стандартних звітів щодо якості результатів державних вибіркових обстежень населення (домогосподарств) (далі - Методологічні положення), що додаються.
2. Департаменту обстежень домогосподарств (Осипова І.І.):
2.1. Здійснювати методологічну координацію впровадження системи стандартних звітів щодо якості результатів державних вибіркових обстежень населення (домогосподарств) в органах державної статистики України.
2.2. Впровадити підготовку "Базового звіту" та "Підсумкового звіту" щодо якості результатів вибіркового обстеження умов життя домогосподарств, починаючи з IV кварталу 2008 року.
2.3. Направити Методологічні положення, затверджені цим наказом, головним управлінням статистики в Автономній Республіці Крим, областях, місті Києві та Управлінню статистики у місті Севастополі.
3. Департаментам статистики праці (Григорович Н.В.) та статистики сільського господарства та навколишнього середовища (Прокопенко О.М.) забезпечити поетапне впровадження базового та підсумкового звітів щодо якості результатів вибіркових обстежень економічної активності населення та сільськогосподарської діяльності населення, починаючи з 2009 року.
4. Контроль за виконанням цього наказу покласти на заступників Голови Держкомстату Власенко Н.С., Остапчука Ю.М. згідно з розподілом функціональних повноважень.
| Голова | О.Г.Осауленко |
ЗАТВЕРДЖЕНО
Наказ Державного комітету
статистики України
05.06.2008 N 178
МЕТОДОЛОГІЧНІ ПОЛОЖЕННЯ
з підготовки стандартних звітів щодо якості результатів державних вибіркових обстежень населення (домогосподарств)
ПЕРЕДМОВА
Забезпечення якості статистичної продукції - один з основних напрямів сучасного етапу розвитку загальноєвропейської та багатьох національних статистичних систем. Це зумовлено як необхідністю більш повного задоволення потреб користувачів усіх рівнів у достовірних, своєчасних і зрозумілих даних, так і задачами стандартизації, гармонізації та оптимізації процесів підготовки статистичних даних.
Головною метою розроблення цих Методологічних положень є забезпечення методологічної бази для запровадження в органах державної статистики України звітів щодо якості за результатами вибіркових обстежень населення (домогосподарств). Ця робота призначена сприяти забезпеченню користувачів різного рівня адекватною інформацією щодо якості результатів вибіркових обстежень, а також створенню інформаційно-аналітичної бази для дослідження напрямів подальшого розвитку цих статистичних спостережень для поліпшення їх якості.
При підготовці методологічних положень використані офіційні рекомендації Євростату з питань звітування щодо якості статистичної продукції та відповідні регламенти Офісу національної статистики Сполученого Королівства Великої Британії та Північної Ірландії.
Методологічні положення складаються з семи розділів.
У першому розділі наведені основні визначення та терміни, які застосовуються у сфері аналізу питань якості статистичної продукції, в т.ч. - у галузі вибіркових обстежень населення (домогосподарств).
У другому розділі розглядаються основні принципи вимірювання якості статистичної продукції, зміст окремих вимірів та характеристики якості, рекомендовані Євростатом, а також надано огляд особливостей вимірювання якості результатів вибіркових обстежень населення (домогосподарств).
Система звітів щодо якості, розроблена згідно з рекомендаціями Євростату, а також стисла характеристика окремих типів цих звітів за призначенням та побудовою розглянута у третьому розділі.
Четвертий розділ висвітлює особливості звітування за окремими вимірами якості: надані системи характеристик якості по кожному виміру для використання у всіх вибіркових обстеженнях населення.
П'ятий розділ присвячено питанням формування першого типу звіту - "Базового звіту щодо якості". Розглянуто призначення цього звіту, його зміст та особливості надання користувачам.
У шостому розділі наведено рекомендації з підготовки другого типу звіту - "Підсумкового звіту щодо якості". Надано характеристику цього звіту, наведено опис його програми з акцентом на специфіку вибіркових обстежень населення (домогосподарств).
У сьомому розділі надано стислий опис третього типу звітів - "Повного звіту щодо якості".
Методологічні положення містять приклади складання базового та підсумкового звітів щодо якості для вибіркового обстеження умов життя домогосподарств.
Цей документ призначений для використання фахівцями органів державної статистики, користувачами, науковцями та освітянами.
Напрямок вимірювання якості статистичної продукції продовжує інтенсивно розвиватися як у міжнародних, так і в національних статистичних службах, у тому числі і в системі органів державної статистики України. У зв'язку з цим наведені методологічні положення доцільно розглядати як першу версію, яка в подальшому буде переглядатися відповідно до розвитку галузі вибіркових обстежень населення (домогосподарств) та загальних підходів до питань вимірювання якості статистичної продукції. Слід підкреслити що не всі розглянуті в цьому документі характеристики якості можуть бути адекватно визначені на основі існуючого на сьогоднішній день в Україні методологічного та інформаційного забезпечення. Разом з тим проблемні з точки зору вимірювання характеристики якості, а також індикатори якості, розроблені Євростатом для перспективного застосування в майбутньому, наведені у даних методологічних положеннях для забезпечення повноти загальної концепції побудови системи звітів щодо якості та з метою визначення стратегічних напрямів удосконалення моніторингу якості для більш повного задоволення потреб користувачів.
1. ОСНОВНІ ВИЗНАЧЕННЯ ТА ТЕРМІНИ(*)
_______________
(*) При підготовці глосарія використано терміни, наведені у [14].
При здійсненні аналізу питань якості статистичної продукції вибіркових обстежень населення (домогосподарств) застосовуються такі скорочення та термінологія.
Відносна стандартна похибка (коефіцієнт варіації) дає уявлення про ступінь статистичної однорідності результатів при багаторазовому застосуванні процедур вибіркового обстеження однакового дизайну вибірки (реплікацій). Визначається як відношення величини стандартної похибки вибірки до середнього значення показника. Вимірюється у відсотках. Чим менша величина коефіцієнта варіації, тим менше результати за різними реплікаціями відрізняються один від одного, тобто дані більш надійні.
Дизайн (план) вибірки - організаційно-логічна модель структури вибіркової сукупності та принципи її формування. Якістю плану вибірки в значній мірі визначається репрезентативність вибіркової сукупності, отриманої за визначеними у плані правилами.
Дизайн-ефект (deff) - міра відносної статистичної ефективності певного дизайну вибірки у порівнянні з простою випадковою вибіркою (відношення дисперсії вибіркових оцінок показника для реального дизайну вибірки, до дисперсії оцінки цього показника, отриманої за допомогою простого випадкового відбору).
Дисперсія вибіркових оцінок (вибіркова дисперсія) - середній квадрат відхилень оцінок показника за всіма можливими вибірками даного дизайну (реплікаціями) від середнього значення оцінки за всіма вибірками.
Доступність характеризує фізичні умови, за якими користувачі можуть отримати статистичні дані: способи та місця отримання даних процедури замовлення, час, необхідний для виконання замовлень, політика ціноутворення, існуючі маркетингові умови (авторське право та ін.), формати, в яких дані можуть бути надані користувачам (паперові носії, електронні носії, CD-ROM, Інтернет та ін.), наявність макро- та мікроданих тощо.
Зміщення - різниця між очікуваною величиною оцінки (тобто середнім із реплікацій) та дійсним значенням показника для всієї сукупності. Особливість зміщення полягає в тому, що воно являє собою постійну складову частину похибки, яка при численній сукупності не зменшується із збільшенням обсягу вибірки, тоді як випадкова похибка вибірки із збільшенням обсягу вибірки в середньому зменшується. До основних причин зміщення належить: процедура невипадкового відбору під час формування вибірки; залежність спрямованого відбирання від будь-якої ознаки, пов'язаного з тими властивостями одиниць, які служать об'єктом вивчення; свідоме чи ненавмисне зміщення при утворенні випадкової вибірки (тобто порушення випадкового відбору); свідома заміна (процес збору відомостей) одних одиниць іншими; неповне охоплення обстеженням отриманої вибірки; неправильне застосування способів обчислення оцінок. Визначають як різницю середнього значення оцінок у разі повторних випробувань (спостережень) і оцінюваної величини.
Надійність (точність) - ступінь близькості розрахованих оцінок показників до дійсних (точних) значень показників.
Невибіркові похибки - це похибки, пов'язані з сутністю первинної інформації (відповідей) або її навмисним викривленням по окремих ознаках (елементах) сукупності з вини інтерв'юера або респондента.
Порівнянність спрямована на вимірювання впливу відмінностей у статистичних концепціях та визначеннях, які застосовуються, на співставність статистичних даних за географічними районами, негеографічними доменами або у часі. Це ступінь, з яким розбіжності між статистичними даними пояснюються розбіжностями між дійсними значеннями статистичних характеристик.
Похибка надохоплення - це похибка, пов'язана з неможливістю ідентифікувати одиниці, представлені в основі вибірки більше одного разу, або одиниці, які не входять до генеральної сукупності.
Похибка недоохоплення - виникає в результаті неможливості включити окремі одиниці в основу вибірки. Це веде до недопредставлення у вибірці груп або частин генеральної сукупності.
Похибки невідповідей - виникають за рахунок відмови респондента давати відповідь на окремі запитання і зумовлюють відсутність значень ознаки по окремих елементах вибіркової сукупності. Похибки невідповідей можуть не лише збільшувати дисперсію ознаки, а й призводити до зміщення оцінок показників за рахунок відсутності у вибірці елементів генеральної сукупності з можливо значно відмінними від середніх значень характеристиками.
Похибка вибірки - частина розбіжності між істинним значенням статистичного показника та його значенням, розрахованим за вибіркою, яка зумовлена застосуванням саме несуцільним характером спостереження.
Похибка вимірювання - різниця між розрахунковим значенням показника, що характеризує явище, і дійсним його значенням. У залежності від причини виникнення і законів зміни похибок розрізняють:
1) промахи, чи грубі похибки, - похибки, що носять суб'єктивний характер. Вони допускаються особами, що виконують вимірювання, в результаті їх недостатньої кваліфікації чи внаслідок недбалості. До промахів відносяться похибки спостереження і реєстрації. Промахи звичайно легко розпізнати: результати спостережень, що містять їх, різко відрізняються від інших значень;
2) систематичні - похибки, постійні за величиною і знаком, змінюються за деякими законами. Похибка систематична є наслідком дії постійних факторів, що діють в одному напрямку за певним законом. Вони можуть виникнути через неправильний вимірювальний інструмент. У разі виявлення факторів, що викликають систематичну похибку, і розрахунку її величини, вона може бути усунена проведенням відповідних виправлень у результатах вимірів;
3) випадкові похибки, що є наслідком дії великої кількості чинників, ефекти дії яких настільки незначні, що їх не можна виділити і врахувати окремо. Сумарний ефект дії цих чинників є причиною відхилу результату виміру від справжнього значення показника. Випадкова похибка має імовірнісний характер і розглядається як випадкова величина.
Похибка моделювання характеризує частину різниці між оцінкою показника та дійсним його значенням, яка пояснюється використанням статистико-математичних моделей для розрахунку оцінок. Похибки моделювання можуть бути систематичними і випадковими.
Похибка обробки характеризує частину різниці між оцінкою показника та дійсним його значенням, яка пояснюється використанням різноманітних процедур обробки даних (введення даних, кодування, редагування, імпутація тощо). Похибки обробки можуть бути систематичними і випадковими.
Похибка реєстрації (кодування) характеризує розбіжність між зафіксованим При статистичному спостереженні значенням ознаки в одиниці спостереження і дійсним її значенням, що є результатом неправильної, помилкової реєстрації (запису) відповіді на запитання статистичної форми (анкет опитування вибіркового обстеження). Розрізняють похибки реєстрації випадкові та систематичні. Перші виникають через збіг випадкових обставин і, як правило, при великому числі спостережень не роблять істотного впливу на результати його (через урівноваження похибок, що виникають у протилежних напрямках). Систематичні похибки - це неточності реєстрації, що виникають за певних обставин і постійно діють протягом процесу статистичного спостереження в одному напрямку (мають однакову тенденцію або до збільшення, або до зменшення значення), тому величина показника у підсумку по спостереженню буде включати накопичену похибку.
Пунктуальність характеризує проміжок часу між запланованою та фактичною датами підготовки даних. Наприклад, запланованою датою може бути дата, відображена у затверджених планах виконання робіт, анонсована або узгоджена з користувачами тощо.
Релевантність - ступінь, з яким статистичні дані відповідають поточним та потенційним потребам користувачів. Релевантність також стосується питань повноти розробки всіх необхідних статистичних даних, а також ступеня відповідності потребам користувачів концепцій, визначень, класифікацій і т.д., що використовуються;
Своєчасність характеризує інтервал часу між моментом (періодом), у який відбувалося явище або процес, що описують статистичні дані, та датою готовності (надання) цих даних.
Стандартна похибка - середньоквадратичне відхилення вибіркових оцінок показника від значення показника для генеральної сукупності.
Узгодженість - ступінь, з яким дані, отримані з різних джерел, можуть адекватно комбінуватись, інтегруватись та використовуватись для різних цілей. Зміст цього виміру полягає в тому, що статистичні дані, що характеризують одне й те саме явище, але отримані за результатами різних обстежень (обстежень різного типу і періодичності), можуть бути не повністю узгодженими, оскільки основані на різних методологічних підходах, класифікаціях тощо.
Ясність характеризує інформаційне середовище даних: наявність та якість метаданих, що надаються зі статистичними даними (текстова інформація, пояснення, документація та ін.), ілюстрації (графіки, карти, схеми та ін.), наявність пояснень щодо якості даних (включаючи обмеження у використанні); ступінь додаткового супроводу даних статистичними органами.
2. ЗАГАЛЬНІ ПОЛОЖЕННЯ. ОСНОВНІ ПРИНЦИПИ ВИМІРЮВАННЯ ЯКОСТІ СТАТИСТИЧНОЇ ПРОДУКЦІЇ ТА НАДАННЯ ІНФОРМАЦІЇ ЩОДО ЯКОСТІ КОРИСТУВАЧАМ
Забезпечення належної якості статистичної продукції визначено пріоритетним напрямом на сучасному етапі розвитку світової статистичної спільноти. В статистичних системах країн Європейського союзу Статистичною комісією ООН, Євростатом розроблені документи, що регламентують вимоги до якості статистичних даних (зокрема стосовно результатів вибіркових обстежень населення), до методів забезпечення якості, рекомендують програми та зміст звітної документації щодо якості даних для користувачів та фахівців статистики тощо [1 - 5]. На їх основі відповідні документи розробляються і в національних статистичних службах [1, 7 - 12]
Протягом останніх років регулярно проводяться міжнародні конференції з питань якості статистичних даних, що виробляються як органами статистики, так і міністерствами, відомствами, банківськими установами та іншими організаціями. При цьому, як правило, проблематика якості даних офіційної статистики розглядається окремо.
На сьогодні в міжнародній практиці не існує загальноприйнятого універсального визначення цього поняття. Загалом концепція якості найчастіше характеризується як "прийнятність" або "відповідність меті" в плані потреб користувачів. Раніше в міжнародній статистичній практиці якість визначалася виключно точністю та своєчасністю даних. Такий підхід до цього поняття часто зустрічається і зараз серед більшості національних користувачів. Разом з тим некоректно вважати якісними дані, які є точними та своєчасними, але до них немає прозорого доступу, вони не відповідають необхідним концепціям або не мають опису методологічних засад, за якими вони були розроблені. Таким чином, поняття якості статистичної продукції є багатовимірним та комплексним.
Підходи до змісту поняття "якості" постійно вдосконалюються на основі досягнень статистичної методології, насамперед, у напрямах більш ефективного і адекватного використання статистичної інформації і більш повного задоволення потреб користувачів. Враховуючи, що різні користувачі мають різні потреби, надзвичайно важливим є визначення діапазону характерних ознак, які у підсумку можуть бути використані для визначення ступеня відповідності статистичних даних критеріям якості користувачів.
Виміри якості характеризуються системою показників, зміст яких суттєво залежить від галузі статистики. Здійснення оцінки окремих аспектів якості статистичних даних також має численні особливості та значною мірою залежить від призначення та способу використання статистичних даних, методів збирання та обробки інформації тощо.
2.1. Якість даних: цілі вимірювання
Вимірювання якості статистичних даних необхідне, насамперед, для забезпечення адекватності використання цих даних внутрішніми (всередині статистичної системи) та зовнішніми користувачами. Вони потребують доступу до показників якості для свідомого розуміння як переваг, так і обмежень, які відносяться до конкретних даних, для відповідного використання останніх.
Інші, не менш важливі, напрями застосування інформації щодо якості даних - це оптимізація процесів вироблення інформації у напрямку забезпечення максимальної їх ефективності.
Впровадження у практичну діяльність виробників інформації, зокрема органів державної статистики, сучасних міжнародних підходів до визначення якості даних вимагає наступних актуальних акцентів у їх роботі. По-перше, передбачається, що виробники статистичних даних повинні гарантувати, що всі прийнятні вимоги користувачів щодо якості даних задоволені. По-друге, фінансове забезпечення виробництва інформації має визначатися з урахуванням необхідності забезпечення встановленого рівня якості даних. По-третє, виробники статистичних даних повинні сконцентрувати свої зусилля на впровадженні та удосконаленні найбільш ефективного методологічного та методичного забезпечення, які дозволяють отримати максимально якісні дані з найменшими витратами.
Оптимізація процесу виробництва статистичної продукції на основі результатів аналізу якості може бути проілюстрована циклом якості Деминга-Шварта: план, захід, перевірка, впровадження (рис. 1) .
Рис. 1. Цикл якості Деминга-Шварта
У відповідності з цим підходом за результатами контролю якості етапів виробництва статистичної продукції виявляються "вузькі" місця, розробляється план усунення недоліків або поліпшення якості розробляються та реалізуються відповідні заходи, перевіряються результати, фіксуються і впроваджуються найбільш ефективні рішення. Далі процес циклічно повторюється по мірі надходження нової інформації щодо якості, зокрема щодо виявлених недоліків, зміни потреб користувачів, розвитку методології тощо.
Висока якість статистичних даних суттєво сприяє підвищенню авторитету статистичних систем серед користувачів різних рівнів та в суспільстві в цілому.
2.2. Основні виміри якості, рекомендовані Євростатом
Для офіційної статистики на сучасному етапі Євростатом рекомендовані такі основні виміри якості статистичної продукції [2 - 4]:
1) Релевантність - ступінь, за яким статистичні дані відповідають поточним та потенційним потребам користувачів. Релевантність також стосується питань повноти розробки всіх необхідних статистичних даних, а також ступеня відповідності потребам користувачів концепцій, визначень, класифікацій і т.д., які використовуються;
2) Надійність (точність) - ступінь близькості розрахованих оцінок показників до дійсних (точних) значень показників;
3) Своєчасність та пунктуальність. Своєчасність характеризує інтервал часу між моментом (періодом), у який відбувалося явище або процес, що описують статистичні дані, та датою готовності (надання) цих даних.
Пунктуальність характеризує проміжок часу між запланованою та фактичною датами підготовки даних. Наприклад, запланованою датою може бути дата, відображена у затверджених планах виконання робіт, анонсована або узгоджена з користувачами тощо.
4) Доступність та ясність. Доступність характеризує фізичні умови, за якими користувачі можуть отримати статистичні дані: способи та місця отримання даних, процедури замовлення, час, необхідний для виконання замовлень, політика ціноутворення, існуючі маркетингові умови (авторське право та ін.), формати, в яких дані можуть бути надані користувачам (паперові носії, електронні носії, CD-ROM, Інтернет та ін.), наявність макро- та мікроданих тощо.
Ясність характеризує інформаційне середовище даних: наявність та якість метаданих, що надаються зі статистичними даними (текстова інформація, пояснення, документація та ін.), ілюстрації (графіки, карти, схеми та ін.), наявність пояснень щодо якості даних (включаючи обмеження у використанні); ступінь додаткового супроводу даних статистичними органами.
5) Порівнянність спрямована на вимірювання впливу відмінностей у статистичних концепціях та визначеннях, які застосовуються, на співставність статистичних даних за географічними районами, негеографічними доменами або у часі. Це ступінь, з якою розбіжності між статистичними даними пояснюються розбіжностями між дійсними значеннями статистичних характеристик.
6) Узгодженість - ступінь, з яким дані, отримані з різних джерел, можуть адекватно комбінуватись, інтегруватись та використовуватись для різних цілей. Зміст цього виміру полягає в тому, що статистичні дані, що характеризують одне й те саме явище, але отримані за результатами різних обстежень (обстежень різного типу і періодичності), можуть бути не повністю узгодженими, оскільки основані на різних методологічних підходах, класифікаціях тощо.
Виміри якості не є незалежними, а певним чином взаємопов'язані. Ці взаємозв'язки мають різний вплив на забезпечення якості статистичних даних: позитивний, коли удосконалення одного виміру якості супроводжується поліпшенням інших, та, навпаки, негативний, коли удосконалення одного виміру якості не може здійснитися без погіршення другого. Прикладом може слугувати взаємозв'язок між надійністю та своєчасністю, коли результати, отримані з високою надійністю, але з суттєвим запізненням, можуть бути взагалі не потрібні користувачам. Однобічне поняття якості статистичних даних як лише високої їх надійності завжди буде недостатнім. При здійсненні заходів щодо поліпшення якості статистичних показників необхідно обов'язково враховувати існуючі об'єктивні залежності та визначати пріоритети, оскільки, наприклад, не завжди скорочення термінів обробки можливе одночасно з підвищенням надійності показників. Виміри якості, таким чином, створюють систему, що вимагає відповідного системного підходу до визначення показників для їх характеристики.
Рекомендації Євростату щодо підготовки для користувачів інформації з якості даних саме і передбачають розробку та впровадження системи показників для характеристики кожного з наведених вимірів якості, а також опрацювання методології вимірювання цих показників для застосування у всіх галузях статистики.
2.3. Уніфікована система показників щодо якості статистичної продукції
У сучасних міжнародних дослідженнях проблем якості різними групами аналітиків рекомендується загалом біля 150 характеристик та показників, що можуть бути використані для оцінки якості статистичних даних.
У даний час Євростат здійснює розробку уніфікованої системи показників якості по усіх її вимірах, яка призначена, головним чином, для виробників статистичної продукції Європейського Союзу і забезпечує можливість порівняння якості статистичних продуктів різних галузей статистики та моніторингу її зміни у часі. Ці показники розроблені за умови їх максимальної інформативності стосовно конкретного виміру якості, тому зазначена система включає обмежену кількість показників. Система стандартних показників якості, рекомендована Євростатом у 2005 році [2, 6], наведена у табл. 1. Показники якості рекомендовано розрізняти за типом: основні показники (у табл. 1 позначені "1"), допоміжні показники ("2") та експериментальні показники (показники для можливого майбутнього застосування - "3").
Таблиця 1
Стандартні показники якості статистичної продукції, рекомендовані Євростатом для відображення у звітах щодо якості для будь-яких статистичних спостережень
Основні показники якості безпосередньо характеризують той чи інший її вимір. Наприклад, коефіцієнт варіації (відношення величини стандартної похибки вибіркових оцінок до середнього значення показника) є прямим індикатором виміру "Надійність", а пунктуальність графіка публікації (часовий лаг між запланованою та фактичною датами надання результатів користувачам) - виміру "Своєчасність та пунктуальність".
Допоміжні показники якості характеризують якість опосередковано, непрямо. Наприклад, безпосередньо визначити величину зміщення оцінок показників, зумовленого відмовами респондентів від обстеження, на практиці майже неможливо, оскільки це потребує значних витрат ресурсів на спеціальні дослідження. Разом з тим величина рівня участі респондентів в обстеженні (або рівня відмов від обстеження) є прийнятним показником, що надає уявлення щодо можливої величини такого зміщення.
Зазначені у табл. 1 показники якості рекомендується розраховувати один раз на рік або частіше (щоквартально, щомісячно), якщо це можливо. Окремі з наведених вище показників не можуть бути розраховані для всіх статистичних продуктів без виключення. Для кожної галузі статистики застосовується своя система основних показників якості.
Слід відмітити, що перелік стандартних показників якості, рекомендованих Євростатом, може бути доповнений іншими характеристиками та показниками, визначеними з досвіду роботи з користувачами та виходячи з внутрішніх потреб національної статистичної системи.
2.4. Особливості вимірювання якості результатів вибіркових обстежень населення (домогосподарств)
Визначення якості результатів вибіркових обстежень населення, що враховує основні її виміри, доцільно сформулювати наступним чином. Якісні результати вибіркових обстежень населення (домогосподарств) - це отримані у встановлені строки надійні дані щодо характеристик генеральної сукупності, які з максимальною повнотою відповідають потребам користувачів, узгоджені з наявними якісними даними з інших джерел і доступні для використання.
Для забезпечення комплексного характеру досліджень питань якості результатів вибіркових обстежень поряд з показниками якості що будуються як кількісні величини, доцільно наводити також якісні характеристики. У цих рекомендаціях вони позначаються терміном "характеристики якості".
Державні вибіркові обстеження населення (домогосподарств), як і будь-які інші вибіркові спостереження, мають чітко визначену послідовність етапів (див. рис. 2), кожен з яких впливає на якість кінцевих результатів. Це зумовлює необхідність забезпечення потенційних можливостей для аналізу впливу як кожного етапу окремо так і всіх етапів у комплексі для забезпечення оптимальності всього процесу вибіркового обстеження.
-------------------------- ------------------------ -----------------------
| Формулювання мети | |Визначення та побудова| | Розробка дизайну |
| обстеження, розробка |-->| основи вибірки |-->| вибірки, формування |
|концепцій та методології| | | |вибіркової сукупності|
| обстеження | | | | |
-------------------------- ------------------------ -----------------------
|
v
-------------------------- ------------------------ -----------------------
| Оцінювання показників, | | Обробка даних | |Проведення обстеження|
| підготовка масивів |<--| |<--| |
| мікроданих | | | | |
-------------------------- ------------------------ -----------------------
|
v
--------------------------
| Аналіз та публікація |
| результатів обстеження |
--------------------------
Рис. 2. Узагальнена схема процесу вибіркового обстеження населення
Таким чином, для поглибленого аналізу питань якості результатів вибіркових обстежень та більш повного розуміння її складових важливо ідентифікувати основні показники, характеристики якості та джерела похибок у розрізі основних етапів проведення таких несуцільних спостережень.
Дослідження питань якості результатів вибіркових обстежень населення (домогосподарств) порівняно з іншими галузями статистики має суттєві особливості, пов'язані як з несуцільним характером таких спостережень, так і з різноманітними проблемними аспектами опитування населення, можливим вагомим суб'єктивним фактором впливу (як з боку респондентів, так і працівників, що проводять опитування), а також зі складністю обробки даних, яка передбачає багатоетапність та застосування різних методів для оцінювання показників, у т.ч. - на основі різних зовнішніх джерел по відношенню до конкретного обстеження даних.
3. ТИПИ ЗВІТІВ ЩОДО ЯКОСТІ СТАТИСТИЧНОЇ ПРОДУКЦІЇ: ПРИЗНАЧЕННЯ ТА ОСНОВНІ ПРИНЦИПИ ПОБУДОВИ
У процесі досліджень питань якості статистичних даних, зокрема результатів вибіркових обстежень населення (домогосподарств), визначальним моментом є належне інформування користувачів щодо основних характеристик якості інформації. Звітування щодо якості Євростат визначає як підготовку та поширення на регулярній або нерегулярній основі спеціальних звітів, які містять інформацію щодо якості організації обстежень та їх результатів.
Звітування щодо якості не тільки забезпечує ефективне використання користувачами статистичних даних, а й сприяє поліпшенню взаємних відносин між користувачами та виробниками даних, дозволяє користувачам більш точно визначати свої потреби. З іншого боку, звіти щодо якості дозволяють статистичним службам здійснювати системний аналіз якості даних та сприяють подальшому удосконаленню методологічного та методичного забезпечення, в т.ч. у галузі вибіркових обстежень населення (домогосподарств).
Стандартизація звітів щодо якості статистичної продукції в національних статистичних системах країн європейської спільноти розпочалася відповідно до рекомендацій Євростату, що були прийняті у 2002 році за результатами шостого засідання робочої групи Євростату з оцінки якості статистики у Люксембурзі [2 - 4]). У травні 2005 року за результатами сьомого засідання робочої групи Євростату з оцінки якості статистики у Люксембурзі рекомендації щодо основних показників та характеристик якості були оновлені [5].
Згідно з вищезазначеними рекомендаціями Євростату виділяють такі напрями звітування щодо якості статистичної продукції [2]:
1. Звіт для внутрішніх користувачів, у якому подається деталізована інформація щодо якості в обсязі, необхідному для ефективного використання результатів обстежень усередині статистичної установи. Цей звіт призначений для фахівців, які використовують результати обстежень для виробництва іншої статистичної продукції.
2. Звіт для зовнішніх користувачів, у якому подається основна, найбільш вагома інформація щодо якості, яка необхідна для адекватного використання результатів обстежень зовнішніми користувачами. Цей звіт призначений для широкого кола користувачів які можуть мати лише базові знання зі статистики чи математики або бути фахівцями (зокрема науковцями) в окремих галузях статистики.
3. Повний звіт щодо якості, у якому інформація щодо якості подається у найбільш розгорнутому, деталізованому та повному вигляді. Цей звіт призначений для внутрішнього використання керівництвом статистичної установи та фахівцями найвищого рівня, експертами, консультантами, які відповідають за якість статистичної продукції або мають відношення до планування та проведення вибіркових обстежень. Повний звіт щодо якості містить максимально деталізовану систему показників та характеристик якості, а також відповідні аналітичні матеріали. У цьому звіті має наводитися опис процедур вимірювання показників та характеристик якості. Повний звіт розробляється за результатами певного циклу обстежень, наприклад, для щорічних вибіркових обстежень - один раз у 3-5 років. Цей звіт призначений у першу чергу допомагати удосконалювати методологічні основи обстежень, обгрунтовано планувати та впроваджувати зміни в організації та технології їх проведення.
Зміст кожного звіту має містити показники та характеристики основних вимірів якості, але з різним ступенем деталізації.
Національні статистичні служби на основі зазначених рекомендацій розробляють свої системи звітів з якості. Наприклад, враховуючи диференціацію зовнішніх користувачів за рівнем потреб щодо інформації з якості, в Офісі Національної Статистики Великої Британії (ОНС) встановлені два основні типи регулярних звітів щодо якості для зовнішніх користувачів [7 - 12]:
- базова інформація щодо якості - стисла інформація щодо якості, яка супроводжує усі публікації результатів статистичних спостережень;
- підсумковий звіт щодо якості - більш детальна інформація щодо якості, яка містить також опис питань методологічного характеру. Цей звіт публікується окремо від результатів обстеження а також розміщується на Інтернет-сторінці.
Крім того, в ОНС передбачається періодична (один раз на декілька років) підготовка повних звітів щодо якості для менеджерів вищого рівня, з можливістю надання певним користувачам доступу до окремих розділів цих звітів.
За результатами опрацювання документів Євростату з питань звітування щодо якості статистичної продукції та з урахуванням міжнародного досвіду розробки систем звітів щодо якості в національних статистичних системах інших країн, для використання в органах державної статистики України розроблена наступна система звітів щодо якості результатів вибіркових обстежень населення (домогосподарств) та принципів їх побудови:
- Базовий звіт щодо якості.
Базовий звіт щодо якості - це динамічна (поточна) інформація щодо основних характеристик якості результатів вибіркового обстеження, яка оновлюється для кожної публікації результатів і публікується (поширюється) разом з нею. Обсяг базової інформації, як правило, не має перевищувати однієї - двох сторінок. Базовий звіт щодо якості має уніфікований стандартний формат та зміст як для зовнішніх, так і для внутрішніх користувачів. Цей звіт може містити посилання на основні джерела більш детальної інформації щодо якості результатів обстеження (сторінки Інтернету, де розміщено підсумковий звіт щодо якості, методологічні та методичні документи з питань обстеження та ін.).
- Підсумковий звіт щодо якості.
Підсумковий звіт щодо якості - більш детальна інформація щодо якості, яка містить опис змін методів, що застосовуються у вибірковому обстеженні, або методів вимірювання якості. Обсяг такого звіту має складати близько 5 - 15 сторінок. Цей звіт публікується окремо від результатів обстеження, а також розміщується на Інтернет-сторінці. Підсумковий звіт щодо якості може готуватися у двох форматах: в уніфікованому стандартному форматі для зовнішніх та внутрішніх користувачів, а також за запитами окремих користувачів (зовнішніх або внутрішніх) - у розширеному за окремими вимірами якості форматі. Оскільки вибіркові обстеження населення (домогосподарств), які проводять органи державної статистики України, мають річні цикли для аналізу даних, і протягом цього часу методологія обстеження не змінюється, доцільно підсумкові звіти щодо якості готувати в уніфікованому форматі з щорічною періодичністю.
- Повний звіт щодо якості.
Зміст повного звіту щодо якості відповідає рекомендаціям Євростату. Цей звіт має уніфікований стандартний формат та зміст як для зовнішніх, так і для внутрішніх користувачів. Цей звіт орієнтований на внутрішніх користувачів та зовнішніх користувачів, які мають відношення до питань стратегічного планування та поглиблених досліджень якості результатів вибіркових обстежень. Для задоволення потреб інших категорій зовнішніх користувачів їм можуть бути надані окремі розділи (їх частини) повного звіту щодо якості шляхом вибору найбільш придатних вимірів та характеристик якості в залежності від обстеження, рівня користувачів та їх потреб.
Звіти щодо якості в цілому будуються за такою стандартною програмою:
1. Загальна частина (включає визначення поняття якості результатів вибіркових обстежень населення (домогосподарств), необхідність врахування користувачами інформації щодо якості для ефективного використання результатів).
2. Основні виміри якості та їх характеристики.
2.1. Релевантність.
2.2. Надійність.
2.3. Своєчасність та пунктуальність.
2.4. Доступність та ясність.
2.5. Порівнянність.
2.6. Узгодженість.
3. Висновки (наводяться основні тези щодо загальної характеристики та тенденцій щодо якості результатів обстеження).
При підготовці програми звіту щодо якості результатів конкретного вибіркового обстеження населення (домогосподарств) по кожному з вимірів наводяться показники та характеристики якості та їх зміст, значення для основних результатів, за необхідністю у підсумковому та обов'язково у повному звіті - алгоритми розрахунків показників якості, методологічні коментарі та зауваження. Залежно від типу конкретних звітів окремі виміри якості можуть бути відсутні.
При розгляді питання періодичності підготовки звітів щодо якості було враховано, що можливість їх підготовки передбачає проведення певного циклу вибіркових обстежень. Наприклад, найбільш стислі базові звіти, що містять лише необхідну інформацію у дуже лаконічній формі, готуються за результатами кожного обстеження і надаються одночасно з результатами обстеження (щомісячно, щоквартально, щорічно). Більші за обсягом та змістом підсумкові звіти можуть бути підготовлені лише на основі результатів декількох обстежень (наприклад, щорічно для щомісячних та щоквартальних обстежень). Повні звіти готуються з використанням масивів даних за певний період проведення вибіркових обстежень, у т.ч. - на основі результатів спеціально проведених досліджень з питань якості окремих етапів обстеження, опитувань користувачів тощо. У зв'язку з цим підготовка кінцевих варіантів таких звітів можлива за період 3 - 5 років проведення обстеження, хоча окремі їх розділи мають починати формуватись безпосередньо після початку обстеження. Ці звіти готуються (або актуалізуються) відповідно до найбільшого циклу проведення обстеження за встановленою методологією (періоду між змінами методології обстеження, дизайну вибірки, зокрема, територіальної, суттєвих змін методології обробки даних та ін.).
На рівні регіонів звіти щодо якості результатів конкретного вибіркового обстеження населення (домогосподарств) можуть готуватися за скороченою програмою кожного з типів звітів, з використанням основних характеристик вимірів якості по регіону (за відсутності інформації - по країні в цілому) та містити посилання на відповідні звіти щодо якості національного рівня.
4. ОСНОВНІ ПОКАЗНИКИ ТА ХАРАКТЕРИСТИКИ ВИМІРІВ ЯКОСТІ
Комплексний підхід до підготовки інформації щодо якості даних для представлення у відповідних звітах передбачає розробку системи показників та характеристик якості по кожному її виміру для використання у всіх вибіркових обстеженнях населення і, потенційно у всіх галузях державної статистики, а також - визначення методології вимірювання цих показників, опрацювання, затвердження та впровадження в практичну діяльність необхідних методичних та нормативних документів.
Інформація щодо якості дозволяє користувачам статистичних даних визначати як переваги, так і обмеження щодо їх використання.
Нижче наведені основні показники та характеристики вимірів якості, які потенційно можуть наводитися у звітах щодо якості результатів вибіркових обстежень населення (домогосподарств).
4.1. Релевантність
Релевантність - це ступінь, з яким статистичні дані відповідають поточним та потенційним потребам користувачів. Релевантність також стосується питань повноти розробки всіх необхідних статистичних даних, а також ступеня відповідності потребам користувачів концепцій, визначень, класифікацій і т.д., які використовуються.
Статистична інформація є релевантною, якщо вона відповідає потребам користувачів. У зв'язку з цим у даному розділі звітів щодо якості наводяться матеріали, що характеризують основних користувачів конкретного вибіркового обстеження, а також відповідність даних їх потребам. Надаються коментарі щодо використання узгоджених на національному та/або міжнародному рівнях визначень, стандартів, методології тощо.
Характеристики релевантності важко однозначно відокремити від характеристик по деяких інших вимірах якості. При звітуванні з питань релевантності, насамперед, слід надавати інформацію щодо корисності результатів обстеження для користувачів та ступеня використання результатів ними. Важливим аспектом релевантності є ступінь відповідності показників, що вимірюються за результатами обстеження, цільовим показникам, що планувалось оцінити при організації вибіркового обстеження.
Звітування щодо релевантності дозволяє отримати уявлення про ступінь відхилення інформації, що виробляється органами статистики за результатами вибіркових обстежень населення, від потреб користувачів. Зазначене відхилення може бути зумовлено як динамічністю соціальних процесів, так і певними об'єктивними обставинами, зокрема співвідношенням результатів та необхідних витрат. Оцінювання рівня відповідності результатів обстежень потребам користувачів та ступеня задоволення потреб користувачів може здійснюватись за допомогою різних засобів. Одним з найкращих підходів є проведення відповідних опитувань користувачів. Серед інших методів можуть застосовуватися непрямі оцінки, тобто суміжні показники, які опосередковано характеризують задоволеність користувачів (обсяги продажу публікацій, кількість отриманих від користувачів запитів на надання інформації, питань, скарг і т.д.).
У звітах можуть бути наведені такі показники та характеристики релевантності:
- опис мети вибіркового обстеження, класифікація та опис користувачів;
- опис потреб основних користувачів (за групами користувачів), протиріч між потребами окремих користувачів та опис встановлених пріоритетів;
- результати аналізу відхилень у концепціях та визначеннях, які використовуються користувачами;
- посилання на документи, де міститься інформація з більш детальним описом потреб користувачів, якщо такі матеріали є;
- характеристика відповідності результатів вибіркового обстеження потребам основних користувачів;
- характеристики ступеня задоволеності користувачів, насамперед, за основними групами користувачів, головні причини неповного задоволення потреб користувачів;
- кількісна характеристика недоступних для користувачів результатів вибіркового обстеження у порівнянні з запланованим (потрібним) обсягом доступної інформації;
- опис причин недоступності потрібної інформації та перспектив вирішення даної проблеми;
- опис проведених заходів із забезпечення релевантності;
- опис результатів оцінки задоволеності користувачів, а також планів та заходів, що будуть здійснені для поліпшення задоволеності їх потреб;
- кількісна характеристика обсягів поширених матеріалів або звернень користувачів до публікацій, підготовлених за результатами вибіркового обстеження в електронній та паперовій формах;
- кількість звернень до відповідних Web-сторінок, де розміщені матеріали вибіркового обстеження, та завантажень доступних масивів даних обстеження.
Для характеристики релевантності Євростатом розробляються та впроваджуються такі стандартні показники якості статистичної продукції (табл. 1):
- індекс задоволеності користувачів (R1). Цей показник пропонується визначати щорічно. Оскільки користувачі на національному рівні не співпадають з користувачами на міжнародному зокрема, європейському рівні, пропонується визначати індекси задоволеності в розрізі окремих груп користувачів. У майбутньому Євростат планує започаткувати обстеження задоволеності користувачів на європейському рівні. Для усіх рівнів перед розрахунком цих показників необхідно здійснити такі підготовчі кроки: розробити класифікацію користувачів вибіркового обстеження шляхом їх об'єднання в невелику кількість груп (доцільно виділити біля 5 основних груп); здійснити ранжування груп користувачів відповідно до їх важливості; здійснити систематизацію та аналіз методів, що використовуються для вимірювання ступеня задоволеності користувачів за їх групами для опису процедур оцінювання у відповідних звітах щодо якості. З метою оцінювання задоволеності користувачів рекомендується проводити їх опитування на щорічній основі, з використанням ротації, за якої кожен рік обстежуватимуться різні групи користувачів.
Кількісне значення індексу задоволеності для певної групи користувачів визначається як інтегральний показник на основі оцінок користувачами основних аспектів якості результатів вибіркового обстеження (з використанням певної шкали, наприклад, від 1 до 100 для кожної з оцінок та, відповідно, і для індексу задоволеності), зважених за ступенем важливості кожного з аспектів. За таких умов індекс задоволеності може бути розрахований за формулою:
L ~
I = S Y x d , (4.1)
s l=1 l l
де Y - оцінка l-го аспекта якості, 1 = 1, 2, ... , L;
l
~ L ~
d - нормоване вагове значення для i-го коефіцієнта, S d = 1.
l=1 l
S - знак суми.
- частка доступних результатів вибіркового обстеження (R2). Цей показник визначає співвідношення кількості наданих користувачам показників, розрахованих за результатами конкретного обстеження, до кількості показників, що необхідно було надати. Одночасно у звітах вказуються причини, що не дозволили опублікувати (надати) всі потрібні користувачам результати.
Нижче наведені деякі приклади практичної реалізації у звітах щодо якості окремих з наведених вище характеристик релевантності.
Приклад формулювання мети обстеження.
Приклад
Метою проведення обстежень економічної активності населення є одержання інформації про склад та структуру робочої сили, вимірювання зайнятості та напрямів діяльності населення, а також визначення реального рівня безробіття, який враховує загальний обсяг пропозиції робочої сили та застосовується як важливий показник аналізу поточного стану економіки країни. Матеріали обстежень дозволяють оцінити реальні обсяги та зміни пропозиції робочої сили на ринку праці України, проаналізувати тенденції розвитку його кон'юнктури.
