После установления большевистской власти возникла проблема сохранения тайны при передаче оперативных сообщений, которую нарком иностранных дел Чичерин в письме Ленину от 20 августа 1920 года характеризовал так: «Иностранные правительства имеют более сложные шифры, чем употребляемые нами. Если ключ мы постоянно меняем, то сама система известна многим царским чиновникам и военным, в настоящее время находящимся в стане белогвардейцев за границей».
Для решения проблемы 5 мая 1921 года постановлением была создана советская криптографическая служба в виде специального отдела при ВЧК под руководством опытного конспиратора и шифровальщика Глеба Бокия. С 25 августа 1921 года в соответствии с приказом Спецотдела ВЧК все подразделения в центре и на местах должны были направлять в отдел обнаруженные при обысках и арестах шифры, ключи к ним и шифрованные сообщения.
Сотрудниками секретных отделов могли быть только члены РКП (б) или преданные советской власти беспартийные, за которых поручилось не менее двух ответственных членов партии. С 1926 года подбор лиц, ведущих секретное делопроизводство, вело ОГПУ. Подчинялись специалисты напрямую ЦК партии, а не начальству ВЧК.
Работа Спецотдела началась с изучения архивов криптоаналитических служб дореволюционной России, в том числе шифров Болгарии, Германии, Китая, США и Японии. Были организованы полугодовые курсы с помощью криптографов со стажем работы. К трудностям первых лет стоит отнести малочисленность, низкую профессиональную подготовку, а также недостаток и низкое качество материала для дешифрования.
Главным успехом отдела считается взлом немецких шифровальных кодов, которые читались до 1933 года, когда немцы сменили криптографические ключи. Читались также и переписки большинства иностранных посольств в Москве, в частности, турецких дипломатов, британских посланников, переписка среднеазиатских чиновников и поляков. Американские шифры взломали в 1930 году.
Позже 8 отдел перешел в НКВД, в 1937 году Бокия был расстрелян, а часть документов спецотдела ВЧК пропала бесследно, другая была сдана в архивы. Позже полномочия дешифраторов переходили в МГБ, а после перешли в КГБ и в том или ином виде отдел просуществовал до 1991 года.