КГБ был образован не в качестве центрального органа государственного управления, каковым являлись его предшественники — МГБ и МВД СССР, а всего лишь в статусе ведомства при правительстве СССР. По мнению некоторых историков, причиной понижения статуса КГБ в иерархии органов государственного управления было стремление партийной и советской верхушки страны лишить органы госбезопасности самостоятельности, целиком подчинив их деятельность аппарату коммунистической партии.
Практически сразу же после своего образования КГБ подвергся крупной структурной реорганизации и сокращению численности сотрудников в связи с начавшимся после смерти Сталина процессом десталинизации общества и государства. Из рассекреченных документов стало известно, что в 1950-е годы численность личного состава КГБ была сокращена более чем на 50% по сравнению с 1954 годом.
В 1956 году сотрудники КГБ активно участвовали в подавлении восстания в Венгрии и преследовании его участников.
КГБ продолжил практику своих предшественников — Бюро № 1 МГБ по диверсионной работе за рубежом и Бюро № 2 по выполнению спецзаданий на территории СССР — в области проведения так называемых «активных действий», под которыми подразумевались акты индивидуального террора на территории страны и за границей в отношении лиц, которые квалифицировались партийными органами как «наиболее активные и злобные враги Советского Союза из числа деятелей капиталистических стран и изменников Родины».
Под руководством Андропова в должности председателя КГБ в период с 1967 по 1982 год органы госбезопасности существенно укрепили и расширили свой контроль над всеми сферами жизни государства и общества. Усилилось их политическое влияние в партийной номенклатуре (Андропов был избран членом Политбюро ЦК КПСС, затем секретарём ЦК партии и впоследствии занял высший партийный пост генерального секретаря ЦК КПСС), повысилась позиция КГБ в системе органов государственного управления.
Изменения в обществе и системе госуправления СССР, вызванные перестройкой и гласностью, привели к необходимости пересмотра основ и принципов органов госбезопасности. 14 марта 1990 года была отменена статья 6 Конституции СССР, которая закрепляла руководящую и направляющую роль Коммунистической партии. Это вызвало в партийных ячейках центрального аппарата КГБ дискуссию о «департизации» органов государственной безопасности.
В ночь с 21 на 22 августа 1991 года председатель КГБ СССР Крючков был арестован за активное участие в путче ГКЧП. После подавления беспорядков в ведомстве начались реформы.
К концу 1991 года Комитет государственной безопасности СССР прекратил своё существование. Официальной датой упразднения КГБ СССР считается 3 декабря 1991 года.