漢武帝以前遊俠是門童或者刺客。他們不會完全忠於國家，所以不會為了國家的生存而死。他們只會忠於欣賞自己的人，也就是所謂的恩人。戰國時期遊俠多為刺客，如《荊軻刺秦王》故事中的荊軻。為了報恩，他們可以不顧自己的生命，為恩人赴湯蹈火。
這樣壹個不服從國家管理，遊離於國家管理之外的群體，很可能在當時就爆發出潛在的危險。秦皇並不想管理這個群體，而是因為當時秦皇的能力不足以管理遊俠，或者說沒有其他精力來分散管理隊伍。
但到了漢武帝時期，國家發展到壹定程度，逐漸開始禁止遊俠。在皇帝眼裏，遊俠有很多未知的危險，隨時會爆發。國家當然不會允許這樣的潛在危險存在，所以對這樣的人嚴格管控。
但實際上，即使遊俠被取締了，也只是以前管轄過的有影響力的人或群體，這個群體還是不可能完全消失的。只是意味著在外界降低存在感，在大眾的生活中就不會存在。