Masa tenisinin kaynağı hiçbir zaman kesin olarak bilinmemektedir. Tenisten daha yeni, basketboldan ise biraz daha eski olan bu sporun salon tenisi adıyla bilinen en eski şekli, 1880'li yıllarda Hindistan ve Güney Afrika'daki İngiliz ordu subayları tarafından oynanmıştır. Bu dönemde puro kutusu kapakları raket, yuvarlatılmış şarap şişesi mantarları top, kitaplar ise file olarak kullanılmıştır.
1890'lı yıllarda İngiltere'de "whiff whaff" ve "gossima" gibi farklı isimlerle oyunun yeni versiyonları geliştirilmiş; Parker Brothers firması masaya kurulabilen portatif net, dışı file kaplı küçük bir top ve minyatür raketlerden oluşan salon tenisi kitleri satmaya başlamıştır.
1900 yılında İngiliz James Gibb, Amerika ziyaretinden dönerken yanında içi boş selüloid toplar getirmiş ve bu topların çıkardığı sese istinaden "ping pong" ismini kullanmaya başlamıştır. 1901'de İngiliz spor ekipmanları üreticisi John Jacques "Ping Pong" ismini kendi adına tescil ettirmiş ve Amerika haklarını Parker Brothers'a satmıştır.
Masa tenisinin tarihçesindeki diğer önemli gelişmeler şunlardır:
- 1902: E. C. Goode, tahta raketinin yüzeyini pürüzlü lastikle kaplayarak topa falso vermeyi başarmıştır. Aynı yıl İngiltere'de Ping Pong Federasyonu kurulmuştur.
- 1921: İngiltere'de yeni bir masa tenisi federasyonu kurulmuştur.
- 1926: Berlin'de Uluslararası Masa Tenisi Federasyonu (Fédération Internationale de Tennis de Table) kurulmuştur.
- 1927: İlk dünya şampiyonası Londra'da yapılmıştır. 2. Dünya Savaşı'na kadar şampiyonalar Macaristan'ın egemenliğinde geçmiştir.
- 1952-1953: Japon Horoi Satoh süngerli lastikleri kullanmaya başlamış ve 1953'ten itibaren Asyalı oyuncuların egemenliği dönemi başlamıştır. Asyalı oyuncular ayrıca raket sapının başparmak ile işaret parmağı arasında tutulduğu "Penholder tutuşu"nu geliştirmiştir.
- 1988: Masa tenisi, erkek ve bayanlarda tekler ve çiftler müsabakalarını içeren olimpik bir spor haline gelmiştir.