Главными средствами, одобренными Совнаркомом 20 декабря 1917 года, которые Дзержинский и возглавляемая им ЧК должны были использовать для борьбы с контрреволюцией, были «захват собственности, переселение, лишение карточек, публикация списков врагов народа и т.д.» Тем не менее, главным оружием ЧК стал террор. Ленин не представлял себе масштабов оппозиции, с которой ему придется столкнуться после революции. Он быстро приходит к выводу, что «специальная система организованного насилия» должна быть создана для осуществления диктатуры пролетариата. В условиях классовой войны большевики не могли себе позволить ограничиться старыми понятиями «буржуазной» законности или морали. Ленин утверждал, что главной причиной поражения величайшего революционного восстания XIX века, Парижской Коммуны 1871 года, было то, что восставшие возлагали слишком много надежд на примирение и использовали слишком мало силы. Неспособность подавить буржуазию силой привело к краху. Ленин жестоко критиковал «предрассудки интеллигенции относительно смертной казни». Он считал, что у масс были более здоровые инстинкты. Уже в декабре 1917 года Ленин выступит за то, чтобы народные массы сами вершили свой суд («уличный суд») над «спекулянтами». Он всячески поощряет любые действия, в том числе и террор, направленные против «классовых врагов».

Не будучи по натуре жестоким человеком, Дзержинский, как и Ленин, буквально кипел от идеологической ненависти по отношению к классу, из которого он сам вышел. Он говорил своей жене, что воспитал себя так, чтобы «без всякой жалости» защищать революцию. Один из его ближайших соратников, Мартин Янович Лацис писал в газете ЧК «Красный террор»: «Мы не ведем войны против отдельных людей, мы уничтожаем буржуазию как класс. Во время расследования не ищите свидетельств, указывающих на то, что подсудимый делом или словом выступал против Советской власти. Первый вопрос, который вы должны задать: к какому классу он относится, каково его происхождение, каково его образование или профессия. Ответы на эти вопросы определят судьбу обвиняемого. В этом состоит значение и смысл красного террора.»

В то время как Дзержинский и его помощники прибегали к красному террору только как к объективно необходимому средству классовой борьбы, некоторые из простых членов ЧК, особенно на местах, наслаждались властью жестокости, не вдаваясь в высокие идеологические рассуждения. Яков Христофорович Петере, один из первых и наиболее выдающихся помощников Дзержинского, позднее признавал, что «многие нечестные элементы» пытались проникнуть в ЧК. Однако он не считал нужным добавить, что многим из них это удавалось. По жестокости ЧК можно сравнить со сталинским НКВД, хотя масштабы расправ были гораздо меньше.

Вплоть до лета 1918 года чинимый ЧК террор в какой-то мере смягчался деятельностью левых эсеров, на помощь которых большевики полагались на начальном этапе. В январе 1918 года, несмотря на возражения со стороны Ленина и Дзержинского, представители левых эсеров в Совнаркоме настояли на том, чтобы их партия была представлена в ЧК. Один из четырех левых эсеров, назначенных членами коллегии ЧК, Вячеслав Алексеевич Александрович, стал заместителем Дзержинского. В марте 1918 года после подписания мира с Германией в Брест-Литовске в знак протеста левые эсеры вышли из Совнаркома. Партия большевиков изменила свое название на Коммунистическую. С тех пор в состав Совнаркома входили исключительно коммунисты, а правительство большевиков переехало в новую столицу — из Петрограда в Москву. Несмотря на то, что левые эсеры вышли из правительства, они все еще оставались в составе ЧК. Дело в том, что, по утверждению самих левых эсеров, Дзержинский просил их остаться, убеждая их лидера Марию Спиридонову, что без их поддержки более не сможет «держать в узде жаждущих крови чекистов». Пока левые эсеры оставались в составе ЧК, за политические преступления не расстреливали. Дзержинский безгранично доверял своему заместителю левому эсеру Александровичу. Переехав в Москву, он передал ему всю полноту власти по решению каждодневных административных вопросов, а сам сконцентрировал свои силы на оперативной работе.

Штаб ЧК находился в Москве, на улице Большая Лубянка, в доме номер 11, который ранее занимала страховая компания «Якорь» и лондонская фирма «Ллойд» (позднее ЧК переехала в дом номер 2, в котором находилась российская страховая компания «Россия»). Теперь главное здание КГБ находится на улице, носящей имя Дзержинского. Те, кого Дзержинский называл «жаждущими крови» чекистами, в скором времени оказались и в Москве. Одной из первых жертв чекистского террора в Москве был известный цирковой клоун Бим-Бом, который часто позволял себе смеяться над коммунистами. Как и в КГБ, в ЧК плохо понимали такой юмор и считали его идеологической провокацией. Когда во время представления к Бим-Бому подошли чекисты с каменными лицами, зрители подумали, что это лишь часть общего представления, однако их смех вскоре сменился на панику, когда они услышали выстрелы, — чекисты открыли огонь по Бим-Бому, который пытался бежать.

Помимо террора, в борьбе против контрреволюции ЧК часто прибегала к внедрению агентов. Хотя Дзержинский выступал против царских методов использования агентов-провокаторов, он очень быстро сам стал настоящим специалистом в этой области. Согласно официальным советским источникам, к началу 1918 года чекисты «регулярно предпринимали такие опасные операции», как внедрение агентов. «Обстановка напряженной классовой борьбы требовала быстрых действий по раскрытию гнезд контрреволюции. Любой неосторожный шаг мог стоить чекистам жизни, но мужество и преданность были их врожденными качествами.» Согласно источникам КГБ, первым значительным успехом ЧК по внедрению своих агентов была операция против организации, которая находилась в Петрограде и называлась «Союз по борьбе с большевиками и отправке войск (генералу) Каледину». Чекист по имени Голубев, выдавая себя за бывшего офицера царской армии, «смог быстро проникнуть в „Союз“, разоблачить многих членов белогвардейского подполья и выявить места их тайных встреч». В течение января-февраля весь «Союз», насчитывающий около четырех тысяч человек, «был разоблачен чекистами и полностью обезврежен с помощью красногвардейцев». Значительно усовершенствованные террор и техника внедрения агентов, самые эффективные методы борьбы ЧК против врагов большевиков, заложили основу для двух наиболее выдающихся достижений сталинского НКВД: самого страшного в истории Европы террора в мирное время и самого широкого проникновения разведывательной агентуры в правительственный аппарат зарубежных стран. Вместе с тем значительное расширение террора и операций по внедрению агентов наблюдалось уже во время Гражданской войны 1918—20 гг.