Визуализация открытых данных Росстата

Проект «Визуализация открытых данных Росстата» - собираем, конвертируем и визуализируем статистику, публикуемую Росстатом.
Данные загружаются из официальных xls‑файлов, преобразуются в SQL‑запросы и подключаются к дашбордам Metabase.

• Дашборды: https://metabase.findatalab.ru/
• Панель базы данных (pgAdmin): https://pga2.findatalab.ru/
• Исходные данные: https://rosstat.gov.ru/folder/10705

Структура данных

В папке data/ находятся тематические подпапки. Каждая подпапка соответствует разделу статистики и содержит файлы:

Национальные счета
Население
Рынок труда, занятость и заработная плата
Институциональные преобразования в экономике
Предпринимательство
Креативная экономика
Эффективность экономики России
Показатели для оценки состояния экономической безопасности России
Правонарушения в сфере экономики
Показатели, характеризующие импортозамещение в России
Технологическое развитие отраслей экономики
Образование
Наука, инновации и технологии:
    Наука
    Инновации
    Цифровые технологии
    Производственные технологии
    Робототехника
Информационное общество
Государство
Цены, инфляция
Финансы
Транспорт
Внешняя торговля
Оптовая торговля и товарные рынки
Платные услуги населению
Розничная торговля и общественное питание
Туризм
Жилищные условия
Окружающая среда
Международная статистика
Опережающие индикаторы по видам экономической деятельности
Показатели, определенные "майскими" указами Президента РФ, и показатели национальных проектов
Региональная статистика
Муниципальная статистика
Статистика населённых пунктов

Для каждого раздела статистики создаётся свой отдельный дашборд.

Как внести вклад в проект

0. Сделайте форк и клонируйте репозиторий.

1. Скачайте нужный xls‑файл со страницы Росстата.

2. Сохраните его в соответствующей тематической папке, например data/innovations/....

3. Для каждой вкладки сформируйте промпт (описание структуры таблицы и данные) в *.txt

4. Конвертируйте таблицу в SQL‑запрос с помощью вашего любимого ИИ помощника (Алиса, Дипсик, Чат GPT и т.д.).

5. Поместите SQL‑запрос в файл *.sql и выполните его в pgAdmin.

6. Синхронизируйте данные в Metabase (нужен админ доступ, пишите в tg @ailabintsev)

7. Создайте новый дашборд в Metabase, используя таблицы, которые вы создали в postgres.

8. Если все получилось, можно делать коммит. В коммите должны быть файлы:

   • *.xls – оригинальный файл, скачанный с сайта Росстата.
   • *.txt – промпты (инструкции) для генерации SQL‑запроса из таблицы (несколько, по количеству вкладок).
   • *.sql – готовые SQL‑запросы для создания и заполнения таблиц в PostgreSQL.

9. Сделайте push в свой репозиторий.

10. Сделайте pull request в основной репозиторий. Прикрепите ссылку на дашборд в комментарии к pull request.

Все изменения публикуются под лицензией MIT (см. LICENSE).

Проект открыт для совместной работы; данные используются в соответствии с политикой Росстата об открытых данных.