← Wiedza i inspiracje

Co zmieniło się w cenniku dostawcy? Porównywanie CSV w Pythonie

Ciemna okładka z napisem „Co zmieniło się w cenniku dostawcy? Porównywanie CSV w Pythonie” oraz grafiką dwóch tabel połączonych liniami i lupą.

Dwa cenniki najlepiej porównywać po stabilnym identyfikatorze produktu, a nie po numerze wiersza ani podobnej nazwie. Python może następnie przygotować listę zmian cen, nowych pozycji, produktów nieobecnych w nowym pliku i rekordów wymagających wyjaśnienia. Wynikiem powinien być raport do kontroli, nie automatyczna aktualizacja sklepu.

Najważniejsza część takiej automatyzacji to ustalenie, co wolno ze sobą porównać. Poprawnie odczytane liczby nie wystarczą, jeśli jedna cena dotyczy sztuki, a druga kartonu. Poniżej znajdziesz proponowane reguły procesu, specyfikację raportu i listę warunków blokujących jego zatwierdzenie.

Co powinien pokazać raport zmian cennika?

Raport powinien odpowiadać na cztery pytania: które ceny się zmieniły, jakie pozycje doszły, których zabrakło i gdzie nie można wydać wiarygodnego wyniku. Dodatkowa kategoria „bez zmian” przydaje się do sprawdzenia kompletności porównania, choć nie musi zajmować głównego widoku pracownika.

Przykład hipotetyczny: zakładamy tę samą walutę, jednostkę i podstawę ceny w obu plikach. Nie są to dane z wdrożenia ani wyniki testów.

Kod produktuPoprzednia cenaNowa cenaWynik kontroli
00125100,00108,00Wzrost o 8,00, czyli 8%
0012650,00Brak pozycjiNieobecny w nowym pliku
00127Brak pozycji75,00Nowa pozycja
Pusty30,0032,00Błąd danych, bez dopasowania

Ostatni wiersz pokazuje dwa błędne rekordy wejściowe, a nie rozpoznany produkt. Sama zbieżność pustych kodów nie daje podstawy do zestawienia cen. W proponowanym wariancie takie rekordy zatrzymują zatwierdzenie raportu.

Najpierw sprawdź, czy porównujesz ten sam produkt

Kod dostawcy powinien wskazywać dokładnie tę pozycję handlową, której dotyczy cena. Trzeba ustalić, czy rozróżnia wariant, rozmiar, kolor i opakowanie. Jeżeli ten sam kod pojawia się osobno dla różnych jednostek lub progów ilościowych, sam kod nie jest wystarczającym kluczem.

W takiej sytuacji potrzebny jest uzgodniony klucz złożony, na przykład kod produktu oraz jednostka sprzedaży. Nie należy jednak dodawać kolejnych kolumn do klucza wyłącznie po to, aby zniknęły duplikaty. Najpierw trzeba wyjaśnić, co oznaczają powtarzające się rekordy.

  • Zachowaj zera początkowe. Kod 00125 jest identyfikatorem, nie liczbą przeznaczoną do obliczeń.
  • Nie zmieniaj samowolnie wielkości liter. Kody ab12 i AB12 można utożsamić dopiero po potwierdzeniu zasad dostawcy.
  • Ustal zasady usuwania spacji. Oczyszczenie kodu może ujawnić duplikat, dlatego kontrola unikalności powinna następować po normalizacji.
  • Nie dopasowuj automatycznie po nazwie. Zmiana opisu nie musi oznaczać nowego produktu, a podobna nazwa nie dowodzi tożsamości.

Jeśli dostawca zmienia identyfikatory, potrzebna jest potwierdzona tabela przejścia ze starego kodu na nowy. Bez niej bezpieczniej pokazać dwie pozycje do wyjaśnienia niż ogłosić zmianę ceny na podstawie zgadywania.

Czarne opakowania kosmetyków na ciemnych prostokątnych płytkach, połączone złotymi liniami i geometrycznymi symbolami.
Dopasowanie po identyfikatorze, nie po wyglądzie Podstawą porównania jest stabilny klucz produktu. Podobna nazwa ani miejsce w pliku nie wystarczają.Ilustracja wygenerowana przez AI.

Ustal format obu plików CSV

Przed napisaniem porównania przygotuj profil pliku dostawcy. Powinien określać wymagane nagłówki, separator kolumn, kodowanie, zapis ceny i sposób oznaczania brakujących wartości. Rozszerzenie CSV nie oznacza, że separatorem zawsze jest przecinek.

Dokumentacja pandas.read_csv opisuje między innymi parametry sep, encoding, decimal, thousands i dtype. Pozwalają one jawnie określić sposób odczytu zamiast polegać na domysłach programu.

Przykładowy początek wczytywania dla pliku rozdzielanego średnikami może wyglądać tak:

import pandas as pd

stary = pd.read_csv(
    "cennik_poprzedni.csv",
    sep=";",
    encoding="utf-8-sig",
    dtype="string",
    keep_default_na=False,
)

To fragment ilustracyjny, nie kompletny program. Zakłada konkretny separator i kodowanie. Wczytuje wszystkie pola jako tekst, aby zachować oryginalne identyfikatory i zweryfikować ceny przed konwersją. Ten sam uzgodniony profil trzeba zastosować do drugiego pliku albo przygotować osobne profile, jeśli formaty się różnią.

Samo dtype nie wyłącza rozpoznawania brakujących wartości. Kontrolują je także keep_default_na i na_values. W pokazanym wariancie puste pola pozostają pustymi tekstami, więc kod produktu trzeba sprawdzić osobno, również po usunięciu dozwolonych spacji.

Nie stosuj zbiorczej zamiany przecinków na kropki bez określenia formatu. Zapis zawierający separator tysięcy może wtedy zostać błędnie zinterpretowany. Nieczytelną cenę należy zgłosić jako błąd, a nie zamienić na zero.

Oddziel zmiany cen od zmian asortymentu

Po sprawdzeniu identyfikatorów można zestawić oba zbiory. Potrzebne jest pełne złączenie po kluczu, które zachowa również produkty występujące tylko w jednej wersji. W pandas służy do tego merge z how="outer".

porownanie = stary.merge(
    nowy,
    on="kod",
    how="outer",
    suffixes=("_stara", "_nowa"),
    indicator=True,
    validate="one_to_one",
)

Ten fragment zakłada kolumnę kod i wcześniejsze usunięcie przyczyn błędów, nie automatyczne usunięcie problematycznych wierszy. Zgodnie z dokumentacją pandas.merge parametr indicator=True dodaje informację o pochodzeniu rekordu:

  • both: klucz występuje w obu plikach, więc można sprawdzać porównywalność i różnicę ceny;
  • left_only: klucz występuje wyłącznie w poprzednim cenniku;
  • right_only: klucz występuje wyłącznie w nowym cenniku.

„Nieobecny w nowym pliku” nie oznacza „wycofany”. Nowy plik może zawierać tylko wybrany asortyment albo samą listę zmian. Przed porównaniem trzeba więc ustalić, czy obie wersje są pełnymi cennikami o tym samym zakresie. Plik przyrostowy wymaga innych reguł.

To inny problem niż zebranie danych z kilku źródeł. Jeśli najpierw trzeba uporządkować wejście, pomocny będzie poradnik o łączeniu plików CSV i Excel w jeden raport za pomocą Pythona. Tutaj celem jest rozpoznanie różnic między dwiema wersjami.

Które błędy mają zatrzymać porównanie?

Proponuję odróżnić zatrzymanie całego procesu od oznaczenia pojedynczego rekordu. Brak wymaganej kolumny uniemożliwia wiarygodne porównanie plików. Zmiana jednostki może natomiast pozwolić przygotować raport diagnostyczny, ale blokować zatwierdzenie konkretnej pozycji.

ProblemProponowana reakcja
Brak wymaganej kolumny lub błędna struktura plikuZatrzymaj porównanie i wskaż problem z wejściem
Pusty klucz albo nieoczekiwany duplikatZablokuj zatwierdzenie; pokaż rekordy źródłowe
Brak ceny lub niepoprawny zapisOznacz błąd; nie obliczaj różnicy
Zmiana waluty, jednostki, opakowania lub netto/bruttoOznacz brak porównywalności do czasu wyjaśnienia
Cena zerowaZastosuj osobną regułę; nie traktuj jej jak pustego pola

validate="one_to_one" sprawdza unikalność kluczy w obu tabelach. Nie zastępuje kontroli pustych identyfikatorów. Dokumentacja pandas ostrzega, że puste klucze po obu stronach mogą zostać ze sobą dopasowane, dlatego trzeba odrzucić takie dopasowanie jeszcze przed złączeniem.

Nie usuwaj duplikatów przez zachowanie „pierwszego” wiersza. Dwa rekordy mogą zawierać różne ceny, warunki zakupu albo jednostki. Takie uproszczenie ukryłoby problem zamiast go rozwiązać. Raport błędów powinien zachować nazwę pliku i numer rekordu wejściowego, aby pracownik mógł wrócić do źródła.

Jak obliczać różnice bez mylących komunikatów?

Dla porównywalnych, poprawnych cen zmiana kwotowa to nowa cena minus poprzednia. Zmiana procentowa to ta różnica podzielona przez poprzednią cenę i pomnożona przez 100%. W przykładzie 100,00 → 108,00 daje to +8,00 oraz +8%.

Przy poprzedniej cenie równej zero nie obliczaj standardowej zmiany procentowej. Pokaż różnicę kwotową oraz komunikat „procent nieobliczony: poprzednia cena wynosi zero”. Nie wpisuj 0%, bo sugerowałoby to brak zmiany. Brak ceny to jeszcze inna sytuacja: bez poprawnej wartości nie ma podstaw do obliczeń.

W specyfikacji trzeba oddzielić trzy decyzje:

  1. Dokładność wejścia: ile miejsc dziesiętnych może mieć cena dostawcy.
  2. Regułę obliczeń: czy używamy wartości dokładnych, czy wcześniej uzgodnionego zaokrąglenia.
  3. Prezentację: ile miejsc pokazujemy pracownikowi w raporcie.

Do dokładnych obliczeń można przyjąć typ dziesiętny Decimal albo liczby całkowite w ustalonej najmniejszej jednostce. Ten drugi wariant wymaga potwierdzenia precyzji cennika. Jeśli dostawca podaje więcej niż dwa miejsca po przecinku, nie należy bez uzgodnienia sprowadzać wszystkiego do groszy.

Próg ostrzegania o dużej zmianie, jeśli jest potrzebny, powinien być osobną regułą biznesową. Nie powinien usuwać mniejszych różnic z danych. Można je pokazać w pełnym raporcie i jedynie wyróżnić te, które wymagają dodatkowej kontroli.

Co przekazać pracownikowi do zatwierdzenia?

Praktyczny wynik to trzy zestawy informacji: raport porównania, raport błędów i metryka uruchomienia. Nie muszą być osobnymi plikami, ale powinny dać się łatwo odróżnić.

Minimalna specyfikacja raportu

  • Klucz produktu, nazwa oraz status porównania.
  • Poprzednia i nowa cena, różnica kwotowa i procentowa.
  • Poprzednia i nowa waluta, jednostka, opakowanie oraz podstawa netto/brutto, jeśli są dostępne.
  • Powód blokady lub ostrzeżenia, bez zastępowania go ogólnym komunikatem „błąd”.
  • Nazwy plików źródłowych, rekordy wejściowe i daty obowiązywania cenników.
  • Data wykonania porównania oraz wersja użytych reguł.

Daty obowiązywania należy pobrać z wiarygodnych danych dostawcy lub podać w konfiguracji. Data pobrania pliku nie musi być datą rozpoczęcia obowiązywania cen. Jeśli nie znamy tej informacji, raport powinien pokazać brak, a nie wymyśloną wartość.

Lista warunków blokujących zatwierdzenie

  • Nie potwierdzono zakresu obu plików i znaczenia identyfikatorów.
  • Pozostały puste klucze, nieoczekiwane duplikaty lub niepoprawne ceny.
  • Nie wyjaśniono zmian jednostki, waluty, opakowania lub podstawy ceny.
  • Liczby pozycji wspólnych, nowych i brakujących nie zgadzają się z poprawnymi zbiorami wejściowymi.
  • Raport powstał z innej wersji plików niż ta przekazana do kontroli.
  • Brakuje decyzji dla pozycji oznaczonych jako wymagające wyjaśnienia.

Raport diagnostyczny można wygenerować mimo problemów, ale powinien mieć jednoznaczny status „niezatwierdzony”. Późniejszy importer powinien otrzymać wyłącznie osobno zatwierdzony zestaw. Podobny rozdział przygotowania i wykonania opisuje materiał o zatwierdzaniu działań przez człowieka, choć porównanie cenników nie wymaga AI.

Kiedy zlecić automatyzację porównywania cenników?

Warto ją rozważyć, gdy kolejne wersje cennika wracają regularnie, reguły można opisać, a ktoś odpowiada za wyjaśnianie wyjątków. Jeżeli każdy plik ma inny układ i nie ma stabilnego klucza, pierwszym etapem powinno być uporządkowanie danych z dostawcą.

Do wyceny przygotuj dwie reprezentatywne wersje cennika, opis identyfikatorów, częstotliwość zmian oraz wzór oczekiwanego raportu. Dołącz znane wyjątki: zerową cenę, duplikat, brak produktu i zmianę opakowania. Na takim zestawie można ustalić kryteria odbioru przed uruchomieniem procesu na rzeczywistych danych.

Podstawowy wariant nie potrzebuje abonamentu na usługę AI. Pandas jest publikowany w PyPI na licencji BSD-3-Clause. Brak opłaty za bibliotekę nie oznacza jednak bezkosztowego wdrożenia: osobnej pracy wymagają reguły, testy, obsługa wyjątków i późniejsze zmiany formatu dostawcy.

W ramach automatyzacji i aplikacji dla firm dobrym pierwszym zakresem jest więc porównanie dwóch ustalonych formatów i przygotowanie raportu do kontroli. Dopiero po sprawdzeniu poprawności wyników warto osobno planować przekazanie zatwierdzonych zmian do importera. Sam fakt wygenerowania raportu nie powinien zmieniać oferty sklepu.

Źródła

Krzysztof Rusak

Autor artykułu

Krzysztof Rusak

SEO/GEO/AI

SEO, treści i praktyczne zastosowania AI. Łączę analizę z projektowaniem narzędzi, które ułatwiają codzienną pracę.

Dalej w temacie

Przeczytaj również

Zacznijmy od jednego procesu.

[email protected]
Opisz, co dziś robisz ręcznie. Ustalmy, co można usprawnić.
+48 530 421 020
Lime Development / pierwszy kontakt

Zacznijmy od konkretu.

Kilka zdań wystarczy. Na końcu przygotujesz wiadomość do wysłania lub pobierzesz brief.

Nie wpisuj haseł ani poufnych danych. Formularz przygotowuje treść lokalnie w twojej przeglądarce. To ty decydujesz o jej wysłaniu. Informacje o prywatności.