Automatyczny Scraper Hurtowni Farmaceutycznych PGF i Neuca24 - System Monitorowania Cen i Dostępności Leków

Przegląd Projektu

Stworzyłem zaawansowany system automatycznego monitorowania i pobierania danych z dwóch największych hurtowni farmaceutycznych w Polsce - PGF (Polska Grupa Farmaceutyczna) oraz Neuca24. Moje rozwiązanie umożliwia systematyczne zbieranie informacji o cenach, dostępności i warunkach zakupu produktów farmaceutycznych, co pozwala klientowi na optymalizację procesów zakupowych i zarządzanie zapasami.

System został zaprojektowany z myślą o specyficznych wymaganiach branży farmaceutycznej, uwzględniając różnice w strukturze danych, nazewnictwie produktów i systemach cenowych stosowanych przez obie hurtownie.

Zaawansowane Mechanizmy Pobierania Danych

Automatyczne Logowanie i Nawigacja w Systemach Hurtowni

• Bezpieczne zarządzanie danymi uwierzytelniającymi - zaimplementowałem mechanizm bezpiecznego przechowywania i używania danych logowania
• Emulacja zachowań użytkownika - stworzyłem system symulujący naturalne interakcje człowieka z interfejsem webowym w celu ominięcia mechanizmów wykrywania botów
• Adaptacyjna nawigacja - system inteligentnie porusza się po strukturze stron obu hurtowni, reagując na zmiany w interfejsie

Kompleksowe Pozyskiwanie Danych Farmaceutycznych

• Pobieranie pełnych danych produktowych - ekstrakcja informacji o nazwach handlowych, substancjach czynnych, dawkach, opakowaniach, producentach i kodach EAN
• Monitorowanie cen i rabatów - śledzenie cen katalogowych, rabatów, promocji i specjalnych ofert
• Dane o dostępności - pozyskiwanie informacji o stanach magazynowych, terminach dostaw i minimalnych ilościach zamówienia
• Warunki handlowe - gromadzenie danych o specjalnych warunkach zakupu i programach lojalnościowych

Zaawansowana Automatyzacja Procesu

Niezawodny System Planowania Zadań

• Konfiguracja crontab - zaimplementowałem precyzyjny harmonogram aktualizacji uwzględniający obciążenie serwerów hurtowni
• Mechanizm retry - system automatycznie ponawia próby w przypadku niepowodzenia z wykładniczym opóźnieniem
• Powiadomienia o błędach - stworzyłem system alertów powiadamiających o problemach z pobieraniem danych
• Dzienniki aktywności - szczegółowe logi umożliwiające diagnostykę i rozwiązywanie problemów

Przetwarzanie i Standaryzacja Danych Farmaceutycznych

• Ujednolicenie formatów - normalizacja różnych formatów danych stosowanych przez hurtownie
• Deduplikacja produktów - zaawansowane algorytmy identyfikujące te same produkty mimo różnic w nazewnictwie
• Walidacja i czyszczenie danych - wykrywanie i korekta niespójności w pobranych informacjach
• Obliczanie metryk pochodnych - automatyczne wyliczanie kosztu jednostkowego, marży i innych wskaźników

Wydajna Architektura Przechowywania Danych

Zoptymalizowana Baza Danych SQLite

• Przemyślany schemat bazy danych - zaprojektowałem strukturę tabel odzwierciedlającą relacje między produktami, cenami i dostępnością
• Efektywne indeksowanie - zoptymalizowałem wyszukiwanie poprzez strategiczne indeksowanie kluczowych pól
• Zarządzanie historią cen - system przechowuje historyczne dane umożliwiając analizę trendów cenowych
• Kompaktowa struktura - mimo przechowywania dużej ilości danych, baza pozostaje wydajna i łatwa w zarządzaniu

Wszechstronny Dostęp do Danych

Intuicyjny Interfejs API

• RESTful API - stworzyłem interfejs programistyczny oparty na FastAPI do łatwego dostępu do danych
• Zaawansowane filtrowanie - możliwość wyszukiwania produktów według nazwy, substancji czynnej, producenta i innych kryteriów
• Sortowanie i paginacja - efektywne zarządzanie dużymi zbiorami wyników
• Zabezpieczenia dostępu - system uwierzytelniania chroniący dane przed nieupoważnionym dostępem

Funkcjonalności Eksportu Danych

• Generowanie arkuszy Excel - tworzenie szczegółowych raportów w formacie Excel z formatowaniem i formułami
• Raporty porównawcze - automatyczne zestawienia cen tych samych produktów w obu hurtowniach
• Eksport na żądanie - możliwość generowania niestandardowych raportów według potrzeb
• Harmonogram raportów - automatyczne generowanie i wysyłanie cyklicznych raportów

Praktyczne Zastosowania Biznesowe

System scraper hurtowni farmaceutycznych znajduje zastosowanie w:

• Optymalizacji zakupów - wybór najkorzystniejszej cenowo hurtowni dla konkretnych produktów
• Planowaniu zapasów - monitorowanie dostępności leków i przewidywanie braków
• Analizie trendów cenowych - śledzenie zmian cen w czasie dla strategicznego planowania zakupów
• Negocjacjach z dostawcami - posiadanie aktualnych danych rynkowych podczas negocjacji warunków
• Automatyzacji procesów zamawiania - integracja z systemami zarządzania zapasami

Rezultaty i Korzyści

Stworzony przeze mnie system przynosi klientowi wymierne korzyści:

• Oszczędność czasu - eliminacja kilku godzin dziennie ręcznego sprawdzania cen
• Optymalizacja kosztów zakupu - redukcja wydatków na leki poprzez wybór najkorzystniejszych ofert
• Lepsza dostępność produktów - minimalizacja braków dzięki monitorowaniu stanów magazynowych
• Wsparcie decyzji biznesowych - dostęp do aktualnych i historycznych danych dla planowania strategicznego

System jest regularnie aktualizowany i doskonalony, aby dostosować się do zmian w interfejsach hurtowni oraz wymagań klienta. Zastosowanie technologii Python, SQLite i FastAPI zapewnia elastyczność, wydajność i łatwość utrzymania rozwiązania.