大学时期的沙尔曼是一名棒球、篮球同样出色的运动员，因此在1950年开始，他同时替职棒及职篮球队打球，直至1955年，因不能升上大联盟，才放弃了棒球生涯。
1951年，华盛顿国会队解散，沙尔曼被韦恩堡活塞队选走，但被“红头”奥尔巴赫交易到波士顿凯尔特人，从此展开他的职业生涯。在球队的第二赛季，沙尔曼即成为全明星球员，罚球命中率亦领先联盟。到了1954-55年赛季，联盟引入24秒进攻时限，沙尔曼的外线投射随即大派用场，成为球队的宝贵资产。该季沙尔曼的得分升至18.4分，罚球命中率亦连续第三季领先联盟。
沙尔曼与当时的后场拍档鲍勃·库锡是球队的得分来源，但球队一直缺乏优良的篮板好手，以致球队始终未能冲出东部。直至比尔·拉塞尔到来，凯尔特人才成为联盟的霸主，并在1957年得到球队史上第一座总冠军。在巩固的防守下，沙尔曼该季的得分升至21.1分，罚球命中率则连续第五年高据榜首。
1958年，凯尔特人在总决赛中败给圣路易斯斯老鹰队，是沙尔曼与拉塞尔在五季的合作中唯一一次没能夺取总冠军。随后三年里，沙尔曼再为球队取得三座总冠军，开启了“绿色王朝”八连霸的序幕。但在这三年里，沙尔曼的得分能力逐渐下降，而且地位亦慢慢被另一新星萨姆·琼斯取代。1961年，沙尔曼宣布退役并离开NBA舞台。
沙尔曼是NBA历史上第一个拥有超过四成命中率的后卫，罚球命中率亦十分高（88.3%）。他的防守极具侵略性，因此与库锡一起组成了联盟最佳后场组合。