В 13 лет был назначен в комнатные стольники. В 1681 году в должностивоеводы и тамбовского наместника командовал войсками против османов и крымских татар. В 1682 году получил боярский титул. Проявил себя на военном и дипломатическом поприщах. В 1686 году участвовал в заключении «Вечного мира» в Москве с Польской Речью Посполитой, а затем был поставлен во главе посольства, отправленного в Варшаву для ратификации заключённого мира.
В 1697—1699 годах Шереметев совершил путешествие по Центральной, Западной и Южной Европе (был в Польше, Австрии, Италии, на острове Мальта, где его сопровождал Иоанн Пашковский), выполняя дипломатические поручения Петра I. Великий магистр Мальтийского орденаРаймундо де Перельос-и-Рокафуль посвятил посла в рыцари-иоанниты. Б. П. Шереметев стал первым русским православным почётным кавалером католического Ордена Св. Иоанна Иерусалимского[2], вернулся в Россию в немецком платье, вызвав тем восторженный приём царя.
Портрет Б. П. Шереметева, неизвестный художник. Написан в традициях польско-украинского портрета XVII века. С с этого портрета была исполнена гравюра Л. Тарасевича, которой открывался панегирик на польском языке, поднесённый Шереметеву в 1695 по случаю взятия им четырёх турецких крепостей.
В кампании 1701 года основные силы шведской армии с Карлом XII ушли в Польшу, поэтому Пётр I имел возможность привести войска в порядок и пополнить их. В первой половине 1701 года Шереметев вёл «малую войну»; в августе 1701 года в Россию из-под Риги вернулся вспомогательный корпус генерала А. И. Репнина. 2 октября 1701 года Пётр I, посетив Псков, отдал приказ о «генеральном походе». 23 декабря 1701 года Шереметев во главе армии (по-старому называлась Большой полк) вступил в Шведскую Ливонию (Лифляндию), в сражении у Эрестфера близ Дерпта 29 декабря 1701 (9 января1702) года нанёс поражение шведам генерала Шлиппенбаха, от которого они «долго необразумятца и не оправятца». За первую победу в войне получил чин генерал-фельдмаршала и орден Святого Андрея Первозванного (30 декабря 1701 (10 января1702)).
В июле 1702 года предпринял новый поход в Лифляндию, 19 (30) июля нанёс новое поражение Шлиппенбаху при Гуммельсгофе, в августе 1702 года занял Мариенбург, где, кроме всего прочего, захватил Марту Скавронскую, которая вскоре оказалась в услужении у Меншикова, затем у царя Петра I и впоследствии стала императрицей под именем Екатерины I.
Летом 1704 года русская армия была разделена: большая часть войск была вверена принятому на русскую службу в чине генерал-фельдмаршал-лейтенантаГ. Б. Огильви, который осадил Нарву; Шереметев во главе отдельного корпуса (по-прежнему называемого Большой полк) осадил Дерпт. Когда осада Дерпта затянулась, под стены крепости прибыл царь Пётр, сделал выговор фельдмаршалу и сам возглавил новый штурм (13 (24) июля 1704 года), завершившийся успехом.
В феврале 1705 года Пётр I направил А. Д. Меншикова для инспекции действующей армии с сообщением, что отныне вся конница вверяется Б. П. Шереметеву, а пехота — Г. Б. Огильви (известие о том, что большая часть армии отныне выведена из его подчинения, «зело опечалила Шереметева»)[3]. Вскоре «лёгкий корпус» под началом Б. П. Шереметева потерпел поражение в Курляндии от шведского генерала Левенгаупта в битве при Гемауэртгофе, причём сам Шереметев был ранен.
Конный портрет Б. П. Шереметева работы К. Шурмана, 1710
Летом 1706 года произошло очередное изменение в русском командовании: теперь возвращённый в действующую армию генерал-фельдмаршал Б. П. Шереметев возглавил пехоту, а генерал от кавалерии князь А. Д. Меншиков — кавалерию.
В кампании 1708 года не оказал помощи А. И. Репнину в несчастном сражении при Головчине, что стало одной из причин поражения. В Полтавской битве (1709) формально возглавлял русскую армию (именно ему Пётр I, сделавший всё для обеспечения победы, на поле битвы вверил русскую армию), был щедро награждён поместьями. В 1709—1710 годах командовал армией при осаде Риги.
В 1711 году командовал русской армией (в присутствии царя) в неудачном для русской армии Прутском походе, вынужден был подписать невыгодный мир, в залог которого оставил своего сына Михаила Шереметева (умер по возвращении на родину в 1714 году).
В 1712 году Шереметев заявил Петру I о своём желании постричься в монахи Киево-Печерской лавры, но царь заменил монастырь женитьбой на молодой красавице-вдове своего родного дяди Льва А. П. Салтыковой. С этого времени Шереметев прочно обосновался в Киеве, получив назначение быть главнокомандующим южной наблюдательной армии, и ездил в Петербург и Москву только с докладами о происходящем на Украине.
Портрет после 1701 г.
В 1715 году Шереметев поставлен командующим русским экспедиционным корпусом в Померании и Мекленбурге для совместных действий с прусским королём против шведов — дело для Шереметева ничем не примечательное. В 1717 году он возвратился в Москву и после тяжёлой болезни скончался.
Жан-Никола де Бразе в своих записках упоминает Шереметева как человека, «не любившего иностранцев, какой бы нации ни были, и не подавшего им никакой помощи, нарочно для того, чтоб вводить их в ошибки и чтоб иметь случай упрекать его царское величество за привязанность его к иноземцам».
Современный историк В. А. Артамонов пишет: «Борис Петрович как полководец был известным кунктатором. Военный стиль Шереметева совпадал с психологией старой армии XVII века и хорошо вписывается в „кордонно-маневровую“ стратегию. Под непрестанным понуканием царя („делай, делай, делай!“) Шереметев ухитрялся комплектовать, снабжать, размещать и готовить солдат к походам, иногда надолго задерживая их выступления (и тем сберегая их жизнь). Шереметев был фокусирующим центром армии. В отличие от других петровских генералов он пользовался любовью солдат, сложивших о своём „отце“ много песен»[5].
Анна Борисовна (1673—1726), была замужем за графом Иваном Фёдоровичем Головиным.
жена с 13 апреля 1713 года Анна Петровна Нарышкина, ур. Салтыкова (1677/1686—1728), вдова боярина Л. К. Нарышкина; дочь Петра Петровича Салтыкова и княжны Марфы Ивановны Прозоровской, дочери боярина И. С. Прозоровского, убитого при обороне Астрахани. На свадьбе Шереметева император Пётр I лично был распорядителем, гостями были вся царская чета, а празднество продолжалось два дня, с большой пышностью.
Борис Шереметев изображён на памятнике Тысячелетие России в ряду выдающихся военных деятелей.
В начале XX века род Шереметевых, желая увековечить родоначальника графской линии, профинансировал значительную часть строительства одной из первых российских подводных лодок, названной «Фельдмаршал граф Шереметев».
В 2005 году в честь Бориса Шереметева была названа улица в Пскове.