Pompę ciepła można porównać do lodówki czy klimatyzatora, bo w gruncie rzeczy zasada działania tych urządzeń jest podobna.
W chłodziarkach i zamrażarkach ciepło jest "wypompowywane" z przechowywanych produktów (co obniża ich temperaturę) a oddawane do pomieszczenia, w którym stoi lodówka lub zamrażarka. Pompa ciepła zastosowana do ogrzewania pomieszczeń "wypompowuje" ciepło z otoczenia o niskiej temperaturze (z gruntu lub powietrza na zewnątrz budynku) i po podniesieniu temperatury czynnika roboczego oddaje ciepło do ogrzewanego pomieszczenia. Aby "zmusić" ciepło do płynięcia w odwrotnym kierunku (od temperatury niższej do wyższej) należy z zewnątrz dostarczyć energii do napędu sprężarki gazy roboczego.
Pompa ciepła o wielkości małej lodówki instalowana jest w domu jako urządzenie grzewcze – źródło ciepła.
Do pompy ciepła doprowadzany jest obwód wymiennika umieszczonego w gruncie oraz obwód grzewczy, niektóre urządzenia zdolne są do podgrzewania wody użytkowej, wtedy posiadają jeszcze jedną parę złącz.
W gruncie umieszczany jest duży wymiennik ciepła (tzw. Dolne Źródło Ciepła), składający się najczęściej z kilkuset metrów rur, ułożonych poziomo lub umieszczonych w odwiertach pionowych. W tych rurach znajduje się niezamarzający płyn, zazwyczaj wodny roztwór glikolu.
Pompa ciepła jest urządzeniem wymuszającym przepływ ciepła z obszaru o niższej temperaturze do obszaru o temperaturze wyższej.
Roztwór niezamarzający trafiając do Pompy Ciepła posiada temperaturę zbliżoną do temperatury w gruncie (zazwyczaj 4 do 10oC). Oddaje część ciepła (zostaje schłodzony uzyskując często temperaturę ujemną) a następnie przepływa ponownie przez Dolne Źródło Ciepła uzyskując znowu temperaturę gruntu. Ogrzewając się odbiera on ciepło z gruntu, który jest przez cały rok cieplejszy niż płyn po ochłodzeniu. Następnie ta energia cieplna jest odbierana przez wymiennik ciepła znajdujący się wewnątrz pompy ciepła, w sposób znany np. z lodówek i chłodziarek.
W wewnątrz Pompy Ciepła za wymiennikiem zasilanym przez Dolne Źródło Ciepła znajduje się czynnik chłodniczy. W postaci cieczy przepływa on do parownika, w którym odparowując przejmuje ciepło z glikolu ogrzanego w wymienniku gruntowym.
Następnie gaz ten trafia do sprężarki, która podnosi się jego ciśnienie a zarazem temperaturę. Wraz ze wzrostem ciśnienia gazu wzrasta jego temperatura. W trzecim etapie gorący gaz trafia do skraplacza, w którym oddaje ciepło do płynu obiegu grzewczego CO.
Skroplona ciecz z wymiennika pod dużym ciśnieniem trafia do zaworu dławiącego, gdzie następuje powtórne zmniejszenie ciśnienia. Z Pompy Ciepła otrzymujemy w tym procesie kilka razy więcej energii cieplnej niż dostarczonej do niej energii elektrycznej. Wynika to z zasady działania tego urządzenia.
Ciepło odbierane jest z gruntu przez glikol i to ciepło w całości (wyjąwszy niewielkie straty po drodze) zasila grzejniki czy ogrzewanie podłogowe. Dodatkowo jeszcze energia elektryczna zużyta na napęd samej pompy ciepła zamieniana jest w urządzeniu na ciepło, dzięki czemu ciepła użytecznego jest jeszcze więcej.

