To ΦΤΜ στεγάζεται σε ιδιόκτητο κτίριο, το οποίο βρίσκεται δίπλα από το Καλλιμάρμαρο Παναθηναϊκό Στάδιο.
Τα Ελληνικά Ταχυδρομεία και οι Φιλοτελικοί Σύλλογοι, προκειμένου να συγκεντρώσουν, να διαφυλάξουν και να προβάλουν ιστορικά αντικείμενα, τα οποία χρησιμοποιήθηκαν από την ίδρυση της Ταχυδρομικής Υπηρεσίας στην Ελλάδα δημιούργησαν το ΦΤΜ. Η ίδρυσή του έλαβε νομική υπόσταση το 1966. Το 1977 παραχωρήθηκε ως δωρεά το οίκημα, στο οποίο στεγάζεται το Μουσείο έως σήμερα, από τη φιλοτελίστρια Νία Ανδρέα Στράτου και άρχισε να λειτουργεί υπό την εποπτεία των Ελληνικών Ταχυδρομείων.