Числовые последовательности (углубление) 🎯

Ты наверняка уже писал что-то вроде «$1/n \to 0$» или «последовательность сходится к двум» — и это ощущалось совершенно естественно: числа становятся всё меньше, значит, стремятся к нулю. Проблема в том, что «становятся всё меньше» и «стремятся» — это слова, а не математика. Они не отвечают на вопрос, что именно значит «стремится», и потому на них нельзя опереться, когда пример перестаёт быть очевидным. Что если последовательность и растёт, и убывает по очереди, но при этом сходится? Что если два «интуитивно понятных» предела на самом деле различаются в шестом знаке после запятой?

Этот урок закрывает интуицию строгим определением. Число $a$ является пределом последовательности $a_n$, если для любой наперёд заданной точности $\varepsilon$ найдётся номер, начиная с которого вся последовательность лежит внутри этой точности — и ни одного слова про «стремление», только кванторы и неравенства. Из этого определения дальше вырастает всё остальное: как узнать, что предел вообще существует, не вычисляя его (теорема Вейерштрасса для монотonных последовательностей), что делать с последовательностями, у которых предела нет, но есть его частичные заменители (подпоследовательности и теорема Больцано — Вейерштрасса), и как проверить сходимость, вообще не называя предполагаемый предел по имени (критерий Коши).

Если ты пишешь код для машинного обучения, этот аппарат — не абстракция. Когда ты смотришь на график loss и видишь, что он «выходит на плато», ты интуитивно применяешь теорему Вейерштрасса: убывающая и ограниченная снизу последовательность обязана сойтись, даже если ты не знаешь, к какому числу. Когда алгоритм останавливает обучение по условию «loss почти не меняется», он использует (часто неправильно урезанную) версию критерия Коши. А когда доказывают, что метод Ньютона или итерация Беллмана в обучении с подкреплением обязательно сойдётся к решению, доказательство почти дословно совпадает с тем, что мы разберём в последнем блоке этого урока про сжимающие отображения.

Урок разделён на четыре содержательные части: строгое определение предела, монотонные и ограниченные последовательности с теоремой Вейерштрасса, подпоследовательности с теоремой Больцано — Вейерштрасса и, наконец, фундаментальные последовательности с критерием Коши. Каждая часть опирается на предыдущую, так что имеет смысл читать по порядку — но после прочтения у тебя будет полный набор инструментов, чтобы доказать сходимость практически любой последовательности, с которой ты столкнёшься в курсе анализа или в коде.

История: откуда это взялось?

До начала XIX века математики работали с пределами интуитивно — и, что удивительно, почти всегда правильно. Ньютон говорил о «последних отношениях исчезающих величин», Эйлер оперировал бесконечно малыми как почти-нулями, которые иногда можно, а иногда нельзя отбрасывать, и решение о том, когда именно, оставалось на усмотрение автора. Это работало для гениев вроде Эйлера и было катастрофой для всех остальных: без чёткого критерия невозможно было отличить верное рассуждение от красиво звучащей, но ложной аналогии.

Первый настоящий прорыв случился в 1817 году: чешский математик и философ Бернард Больцано в малоизвестной работе дал определение предела и непрерывности почти в современном виде и доказал теорему о промежуточном значении строго, без апелляции к геометрической очевидности. Публикация вышла в Праге, в журнале с ограниченным тиражом, и осталась практически незамеченной европейским математическим сообществом на полвека — редкий и поучительный случай, когда правильная идея появилась слишком рано и не в том месте. Независимо и почти одновременно с ним теми же вопросами занимался Огюстен Луи Коши, чей учебник «Курс анализа» 1821 года стал по-настоящему влиятельным: Коши сформулировал определение предела через язык «сколь угодно малых величин» и на его основе построил определения непрерывности, производной и сходимости ряда. Это была огромная работа по наведению порядка — но формулировки Коши всё ещё опирались на словесные обороты вроде «неограниченно приближается», которые сами нуждались в уточнении.

Точку поставил Карл Вейерштрасс в берлинских лекциях 1850–1860-х годов. Он никогда не публиковал их сам — они разошлись по Европе через конспекты студентов, — но именно там впервые появилась запись, знакомая любому современному студенту: для любого $\varepsilon > 0$ существует $N$ такое, что для всех $n > N$ выполняется $|a_n - a| < \varepsilon$. Никакого «стремления», только числа и неравенства, которые можно проверить механически. Этот сдвиг историки математики называют арифметизацией анализа: вся интуитивная геометрия пределов свелась к арифметике конечного числа неравенств. Параллельно Рихард Дедекинд в 1858 году (опубликовано в 1872-м) дал строгое определение самих вещественных чисел через сечения, а Георг Кантор — как классы эквивалентности фундаментальных последовательностей рациональных чисел. Это не случайное совпадение: полнота множества вещественных чисел, на которой держится теорема Вейерштрасса из этого урока, и есть тот факт, который Дедекинд и Кантор сделали строгим. Числовые последовательности в буквальном смысле участвовали в построении числовой прямой, на которой сами же живут.

Предел последовательности: строгое определение

Интуиция: коридор вокруг предела

Представь, что ты настраиваешь бросок дротика в мишень. Первые броски ложатся далеко от центра, но с тренировкой разброс сокращается. «Ты научился попадать в центр» — это утверждение можно понимать как угодно расплывчато, а можно уточнить: какую бы узкую окружность вокруг центра ни нарисовали, начиная с какого-то броска все последующие дротики будут попадать внутрь неё. Чем уже окружность, тем позже, возможно, придётся начинать отсчёт — но момент, начиная с которого ты больше не промахиваешься мимо этой окружности, всегда найдётся.

Замени окружность на числовой отрезок $(a - \varepsilon, a + \varepsilon)$, а броски — на члены последовательности $a_n$. Получится именно то определение, которое искали Коши и Вейерштрасс: какой бы узкий коридор вокруг числа $a$ мы ни нарисовали, начиная с некоторого номера вся последовательность туда помещается. «Узкий коридор» — это $\varepsilon$, «начиная с некоторого номера» — это $N$, а то, что коридор может быть сколь угодно узким — это квантор «для любого $\varepsilon > 0$».

Определение

Определение: Число $a$ называется пределом последовательности $\{a_n\}$, если для любого $\varepsilon > 0$ найдётся номер $N \in \mathbb{N}$ такой, что для всех $n > N$ выполняется неравенство

$$|a_n - a| < \varepsilon.$$

В этом случае пишут $\lim\limits_{n \to \infty} a_n = a$ или $a_n \to a$ и говорят, что последовательность сходится к $a$. Последовательность, у которой нет (конечного) предела, называется расходящейся.

Прочитай определение ещё раз, обращая внимание на порядок кванторов: сначала выбирают $\varepsilon$, и только после этого ищут $N$. Номер $N$ имеет полное право зависеть от $\varepsilon$ — и почти всегда зависит: чем меньше $\varepsilon$, тем позже (то есть тем большим $N$) придётся выйти на нужную точность. Записать доказательство сходимости — значит предъявить явную формулу или оценку $N(\varepsilon)$, которая работает для любого положительного $\varepsilon$.

Разбор примеров

Пример 1 (лёгкий). $a_n = \dfrac{1}{n} \to 0$.

Зафиксируем произвольное $\varepsilon > 0$. Нужно найти $N$ такое, что при всех $n > N$ выполняется $\left|\frac{1}{n} - 0\right| < \varepsilon$, то есть $\frac{1}{n} < \varepsilon$. Это неравенство равносильно $n > \frac{1}{\varepsilon}$. Значит, достаточно взять

Тогда для любого $n > N$ автоматически $n > \frac{1}{\varepsilon}$, откуда $\frac{1}{n} < \varepsilon$. Определение выполнено для произвольного $\varepsilon$, значит $\lim\limits_{n\to\infty} \frac{1}{n} = 0$.

Пример 2 (средний). $a_n = \dfrac{2n+1}{n+3} \to 2$.

Оценим разность:

Требуем $\frac{5}{n+3} < \varepsilon$, то есть $n + 3 > \frac{5}{\varepsilon}$, то есть $n > \frac{5}{\varepsilon} - 3$. Берём

(это заведомо не меньше нужного порога, потому что $\frac{5}{\varepsilon} > \frac{5}{\varepsilon}-3$). Для $n > N$ выполняется $n + 3 > \frac{5}{\varepsilon}$, значит $\frac{5}{n+3} < \varepsilon$. Определение выполнено, $\lim\limits_{n\to\infty} \frac{2n+1}{n+3} = 2$.

Пример 3 (сложный). $a_n = \sqrt{n+1} - \sqrt{n} \to 0$.

В лоб оценить эту разность неудобно — оба слагаемых растут. Стандартный приём — домножить на сопряжённое выражение:

Теперь грубо, но честно оценим знаменатель снизу: $\sqrt{n+1} > \sqrt{n}$, значит $\sqrt{n+1}+\sqrt{n} > 2\sqrt{n}$, и

Требуем $\frac{1}{2\sqrt{n}} < \varepsilon$, то есть $\sqrt{n} > \frac{1}{2\varepsilon}$, то есть $n > \frac{1}{4\varepsilon^2}$. Берём

Для $n > N$ выполняется $a_n < \frac{1}{2\sqrt n} < \varepsilon$, а с учётом $a_n > 0$ получаем $|a_n - 0| < \varepsilon$. Значит, $\lim\limits_{n\to\infty}(\sqrt{n+1}-\sqrt n) = 0$ — несмотря на то, что оба слагаемых по отдельности стремятся к бесконечности.

Почему это важно

Не обязательно находить точное минимальное $N$ — важна лишь его существование для каждого $\varepsilon$, и в примере 3 мы взяли грубую, заведомо избыточную оценку знаменателя вместо точного решения неравенства. Это стандартная и совершенно законная техника: доказательство через $\varepsilon$-$N$ не требует изящества, требует только корректности. А сам факт, что определение свело интуитивное «стремится» к проверяемому неравенству, — это именно то, что позволяет доказывать сходимость сложных последовательностей (в том числе последовательностей ошибок обучающихся алгоритмов), не полагаясь на глаз и график.

Монотонные и ограниченные последовательности. Теорема Вейерштрасса

Интуиция: подниматься по лестнице с потолком

Представь, что ты поднимаешься по бесконечной лестнице, где каждая следующая ступенька выше предыдущей — но при этом над лестницей есть потолок, выше которого подняться физически невозможно. Что произойдёт с твоей высотой? Она не может расти бесконечно (мешает потолок), и она не может начать уменьшаться (ты только поднимаешься). Единственный вариант — высота будет подходить всё ближе к какому-то предельному уровню, никогда не превышая его. Причём этот уровень не обязан совпадать с потолком: возможно, ты остановишься чуть ниже.

Это и есть содержание теоремы Вейерштрасса: последовательности, которая только растёт (или только убывает) и при этом не выходит за некоторую границу, некуда деваться, кроме как сойтись. Причём теорема гарантирует существование предела, ничего не говоря о том, чему он равен — это отдельный, часто более сложный вопрос.

Определение

Определение: Последовательность $\{a_n\}$ называется возрастающей (неубывающей), если $a_{n+1} \ge a_n$ при всех $n$, и строго возрастающей, если $a_{n+1} > a_n$. Аналогично определяются убывающая и строго убывающая последовательности. Последовательность любого из этих четырёх типов называется монотонной.

Последовательность ограничена сверху, если существует число $M$ такое, что $a_n \le M$ при всех $n$; ограничена снизу, если существует $m$ такое, что $a_n \ge m$ при всех $n$; ограничена, если ограничена и сверху, и снизу (равносильно: $|a_n| \le C$ при всех $n$ для некоторого $C$).

Теорема Вейерштрасса. Всякая монотонно возрастающая и ограниченная сверху последовательность сходится, причём её предел равен точной верхней грани множества её значений: $\lim\limits_{n\to\infty} a_n = \sup_n a_n$. Аналогично, всякая монотонно убывающая и ограниченная снизу последовательность сходится к $\inf_n a_n$.

Ключевая тонкость: для возрастающей последовательности нужна ограниченность только сверху — ограниченность снизу первым членом последовательности выполняется автоматически, поскольку все члены не меньше $a_1$. Симметрично для убывающей достаточно ограниченности снизу. В основе теоремы лежит свойство полноты вещественных чисел: у всякого непустого ограниченного сверху множества вещественных чисел существует точная верхняя грань (супремум) — это как раз тот факт, который Дедекинд и Кантор сделали строгим и который отличает $\mathbb{R}$ от $\mathbb{Q}$ (у множества рациональных чисел, меньших $\sqrt 2$, супремума в рациональных числах нет).

Разбор примеров

Пример 1 (лёгкий). $a_n = 1 - \dfrac{1}{n} \to 1$.

Монотонность: $a_{n+1} - a_n = \left(1 - \frac{1}{n+1}\right) - \left(1 - \frac{1}{n}\right) = \frac{1}{n} - \frac{1}{n+1} = \frac{1}{n(n+1)} > 0$, значит последовательность строго возрастает. Ограниченность сверху: $a_n = 1 - \frac{1}{n} < 1$ при всех $n$. По теореме Вейерштрасса последовательность сходится, и поскольку $a_n = 1 - \frac1n$, а $\frac1n \to 0$ (пример 1 из прошлого раздела), предел равен $1 = \sup_n a_n$.

Пример 2 (средний). $a_n = \left(1+\dfrac1n\right)^n$ — знаменитая последовательность, определяющая число $e$.

Монотонность удобно доказать через неравенство о средних. Применим неравенство AM–GM к $n+1$ числам: $n$ штук равны $1+\frac1n$, ещё одно число равно $1$. Среднее арифметическое:

а среднее геометрическое этих $n+1$ чисел равно $\sqrt[n+1]{\left(1+\frac1n\right)^n}$. Неравенство AM–GM даёт

то есть последовательность возрастает.

Ограниченность сверху — из бинома Ньютона: $\left(1+\frac1n\right)^n = \sum_{k=0}^n \binom{n}{k}\frac{1}{n^k} = \sum_{k=0}^n \frac{1}{k!}\prod_{i=0}^{k-1}\left(1-\frac{i}{n}\right) \le \sum_{k=0}^n \frac{1}{k!}$, поскольку каждый множитель в произведении не больше единицы. А так как $k! \ge 2^{k-1}$ при $k \ge 1$, сумма оценивается геометрической прогрессией:

Итак, последовательность возрастает и ограничена сверху числом $3$. По теореме Вейерштрасса она сходится. Её предел и есть число $e \approx 2{,}71828\ldots$ — теорема гарантирует его существование, не давая формулы для точного значения.

Пример 3 (сложный). $a_1 = \sqrt2$, $a_{n+1} = \sqrt{2 + a_n} \to 2$.

Ограниченность сверху числом $2$ — индукцией. База: $a_1 = \sqrt2 < 2$. Переход: если $a_n < 2$, то $a_{n+1} = \sqrt{2+a_n} < \sqrt{2+2} = 2$. Значит, $a_n < 2$ при всех $n$.

Монотонность. Так как $0 < a_n < 2$, неравенство $a_{n+1} > a_n$ равносильно (обе части положительны, можно возводить в квадрат) неравенству $2 + a_n > a_n^2$, то есть $a_n^2 - a_n - 2 < 0$, то есть $(a_n-2)(a_n+1) < 0$. Поскольку $a_n < 2$ и $a_n + 1 > 0$, произведение действительно отрицательно. Значит, последовательность строго возрастает.

По теореме Вейерштрасса предел $L$ существует, причём $L \le 2$. Переходя к пределу в равенстве $a_{n+1} = \sqrt{2+a_n}$ (обе части — сходящиеся последовательности с равными хвостами, поэтому пределы совпадают), получаем $L = \sqrt{2+L}$, откуда $L^2 = 2+L$, то есть $L^2 - L - 2 = 0$, то есть $(L-2)(L+1)=0$. Корень $L=-1$ невозможен, так как все $a_n > 0$. Значит, $L = 2$.

Почему это важно

Обрати внимание на общую схему во всех трёх примерах: сначала теорема Вейерштрасса гарантирует существование предела абстрактно, и только после этого мы вычисляем его — переходя к пределу в рекуррентном соотношении или используя уже известные факты. Это именно та логика, которая стоит за словами «loss сходится»: если функция потерь при обучении монотонно убывает (что для правильно подобранного шага градиентного спуска на выпуклой задаче можно доказать) и ограничена снизу нулём, теорема Вейерштрасса гарантирует, что последовательность значений loss сходится — к какому-то числу, не обязательно к глобальному минимуму, но к конкретному пределу. Важно понимать границы этой гарантии: она касается только последовательности значений loss, а не последовательности самих параметров модели $\theta_n$ — этому будет посвящено задание 20 в практике.

Подпоследовательности и теорема Больцано — Вейерштрасса

Интуиция: прореженный список, сохраняющий порядок

Представь видеоряд из тысяч кадров и то, что получится, если оставить только каждый десятый кадр, выбросив остальные, но сохранив исходный порядок. Получится новый, более редкий ряд кадров — но это по-прежнему часть исходного видео, никаких новых кадров не добавилось. Точно так же подпоследовательность — это последовательность, полученная из исходной вычёркиванием части членов с сохранением порядка оставшихся.

Зачем это нужно? Затем, что у последовательностей без предела — например, у колеблющейся $(-1)^n$ — часто находятся куски, которые сами по себе прекрасно сходятся. Изучая эти куски по отдельности, можно многое сказать даже про расходящуюся исходную последовательность.

Определение

Определение: Пусть $n_1 < n_2 < n_3 < \ldots$ — строго возрастающая последовательность натуральных чисел. Последовательность $a_{n_1}, a_{n_2}, a_{n_3}, \ldots$ называется подпоследовательностью последовательности $\{a_n\}$ и обозначается $\{a_{n_k}\}$.

Теорема Больцано — Вейерштрасса. Всякая ограниченная последовательность вещественных чисел содержит сходящуюся подпоследовательность.

Идея доказательства — метод деления пополам, и её стоит понимать хотя бы качественно. Пусть $a_n \in [A, B]$ при всех $n$. Разделим отрезок $[A,B]$ пополам: хотя бы одна из двух половин содержит бесконечно много членов последовательности (иначе всего членов было бы конечно). Выбираем эту половину, делим её снова пополам и повторяем. На каждом шаге мы получаем вложенные отрезки, длина которых стремится к нулю, и в каждом из них лежит бесконечно много членов исходной последовательности — из них можно выбрать по одному члену так, чтобы номера росли, и полученная подпоследовательность будет сходиться к единственной точке, которая лежит во всех этих вложенных отрезках сразу. Ограниченность здесь принципиальна: без неё отрезок $[A,B]$ просто не с чего начинать.

Полезное следствие этой конструкции для практики: если последовательность сходится к $a$, то и любая её подпоследовательность сходится к тому же $a$ — доказывается напрямую по определению (то же $N$, что работает для исходной последовательности, работает и для подпоследовательности, поскольку $n_k \ge k$). Обратное направление и даёт мощный инструмент: если у ограниченной последовательности нашлись две подпоследовательности с разными пределами, вся последовательность сходиться не может.

Разбор примеров

Пример 1 (лёгкий). $a_n = (-1)^n$.

Подпоследовательность чётных индексов $a_{2k} = 1 \to 1$. Подпоследовательность нечётных индексов $a_{2k+1} = -1 \to -1$. Обе подпоследовательности сходятся, но к разным числам. Если бы вся последовательность $a_n$ сходилась к некоторому $a$, то по указанному выше следствию обе подпоследовательности сходились бы к тому же $a$ — противоречие. Значит, $(-1)^n$ расходится, при том что она ограничена и, согласно теореме Больцано — Вейерштрасса, обязана содержать сходящуюся подпоследовательность (и даже не одну).

Пример 2 (средний). $a_n = n \bmod 3$ (то есть $1, 2, 0, 1, 2, 0, \ldots$).

Три подпоследовательности по остаткам: индексы $n = 3k+1$ дают постоянную подпоследовательность $1, 1, 1, \ldots \to 1$; индексы $n = 3k+2$ дают $2,2,2,\ldots \to 2$; индексы $n = 3k$ дают $0,0,0,\ldots \to 0$. У последовательности три различные предельные точки — три подпоследовательности с тремя разными пределами, и ни к одному числу вся последовательность не сходится.

Пример 3 (сложный). $a_n = \sin n$ (аргумент в радианах, $n \in \mathbb{N}$).

Последовательность ограничена: $|\sin n| \le 1$ при любом $n$. По теореме Больцано — Вейерштрасса у неё гарантированно есть сходящаяся подпоследовательность — но в отличие от предыдущих двух примеров, выписать её явной формулой не получится: числа $n$ не подгоняются под период $2\pi$ никаким простым правилом, потому что $\pi$ иррационально. Теорема утверждает существование сходящейся подпоследовательности абстрактно, без конструкции — и в этом её главная сила: она работает даже там, где явно ничего не построить.

Почему это важно

Подпоследовательности дают самый быстрый способ доказать расходимость: не нужно возиться с отрицанием определения предела через кванторы, достаточно предъявить два конкретных куска последовательности с разными пределами. Это ровно та же логика, которая используется при диагностике неустойчивого обучения: если метрика по эпохам колеблется между двумя уровнями, не сходясь ни к одному, formально это означает, что у последовательности значений метрики есть минимум две подпоследовательности с разными пределами — и обучение в буквальном смысле слова расходится, даже если общий тренд выглядит стабильным на глаз.

Фундаментальные последовательности и критерий Коши

Интуиция: сверяться друг с другом, а не с неизвестной целью

Все три предыдущих определения требовали знать (или хотя бы угадать) предел заранее — либо чтобы проверить $|a_n - a| < \varepsilon$, либо чтобы применить теорему Вейерштрасса и потом отдельно вычислить, к чему она сходится. А что, если предел неизвестен и вычислить его напрямую сложно?

Представь двух туристов с рациями, идущих через лес к какой-то точке встречи, о которой оба знают лишь примерно. Вместо того чтобы сверяться с точным местоположением цели (которое неизвестно), они могут сверяться друг с другом: если расстояние между ними становится сколь угодно малым, это сильный признак того, что оба сходятся к одной и той же точке — даже без знания, к какой именно. Именно так работает критерий Коши: вместо сравнения членов последовательности с неизвестным пределом, мы сравниваем члены последовательности друг с другом.

Определение

Определение: Последовательность $\{a_n\}$ называется фундаментальной (или последовательностью Коши), если для любого $\varepsilon > 0$ найдётся номер $N$ такой, что для всех $n, m > N$ выполняется

$$|a_n - a_m| < \varepsilon.$$

Критерий Коши. Последовательность вещественных чисел сходится тогда и только тогда, когда она фундаментальна.

Направление «сходится $\Rightarrow$ фундаментальна» доказывается напрямую через неравенство треугольника (задание 21 в практике). Обратное направление — «фундаментальна $\Rightarrow$ сходится» — устройство более тонкое и опирается на уже пройденный материал этого урока: фундаментальная последовательность автоматически ограничена (задание 22), по теореме Больцано — Вейерштрасса у неё есть сходящаяся подпоследовательность, а из фундаментальности следует, что и вся последовательность сходится к тому же пределу, что и эта подпоследовательность (задание 23). Это направление специфично именно для полных пространств — множеств, где у всякой фундаментальной последовательности гарантированно есть куда сходиться. Вещественные числа полны, а вот рациональные — нет: последовательность рациональных приближений $\sqrt2$ (например, $1,\ 1{,}4,\ 1{,}41,\ 1{,}414,\ldots$) фундаментальна, но её предел $\sqrt2$ не является рациональным числом, то есть в множестве $\mathbb{Q}$ у неё предела нет.

Разбор примеров

Пример 1 (лёгкий). Докажем, что $a_n = \dfrac1n$ фундаментальна — не используя заранее известный предел.

Возьмём произвольное $\varepsilon > 0$ и положим $N = \left\lceil \frac{2}{\varepsilon} \right\rceil$. Тогда для любых $n, m > N$ выполняется $\frac1n < \frac{\varepsilon}{2}$ и $\frac1m < \frac{\varepsilon}{2}$, откуда

Определение фундаментальности выполнено для любого $\varepsilon$, значит, последовательность фундаментальна, а по критерию Коши — сходится (мы уже знаем, что к нулю, но для доказательства самой сходимости это знание не потребовалось).

Пример 2 (средний). Частичные суммы знакочередующегося гармонического ряда $s_n = \sum_{k=1}^{n} \dfrac{(-1)^{k+1}}{k}$ фундаментальны.

Для $m > n$ хвост суммы группируется парами:

Стандартная оценка остатка знакочередующегося ряда с убывающими по модулю членами: сумма в скобках по модулю не превосходит первого отброшенного слагаемого. Значит,

Для данного $\varepsilon > 0$ берём $N = \left\lceil \frac1\varepsilon \right\rceil$: тогда для всех $n, m > N$ (считая, для определённости, $m > n$) выполняется $|s_m - s_n| \le \frac{1}{n+1} < \frac1N \le \varepsilon$. Последовательность фундаментальна, значит по критерию Коши сходится (к $\ln 2$, хотя доказывать точное значение здесь не требовалось).

Пример 3 (сложный). Частичные суммы гармонического ряда $s_n = \sum_{k=1}^n \dfrac1k$ фундаментальными НЕ являются.

Оценим разность $s_{2n} - s_n$ снизу:

потому что все $n$ слагаемых от $\frac{1}{n+1}$ до $\frac{1}{2n}$ не меньше самого маленького из них, $\frac{1}{2n}$. Возьмём $\varepsilon = \frac12$. Какое бы $N$ мы ни назначили, всегда можно взять $n > N$ и $m = 2n > N$, и тогда $|s_m - s_n| \ge \frac12 = \varepsilon$. Условие фундаментальности нарушается для этого конкретного $\varepsilon$ при любом $N$ — значит, последовательность не фундаментальна, а по критерию Коши она и не сходится. Это классическое доказательство расходимости гармонического ряда, причём заметь: разность соседних членов $s_{n+1} - s_n = \frac{1}{n+1} \to 0$, но это никак не мешает всей сумме расходиться.

Почему это важно

Пример 3 — не просто красивый контрпример, а предупреждение о самой частой ошибке в практических реализациях условий остановки. В коде обучения модели часто пишут что-то вроде if abs(loss[n] - loss[n-1]) < eps: stop. Это проверка близости соседних членов, а не критерий Коши, который требует близости всех пар членов за горизонтом $N$ — то есть, по сути, устойчивой стабилизации, а не разового совпадения двух соседних значений. Гармонический ряд — универсальный контрпример: расстояние между соседями стремится к нулю, а сама последовательность расходится (в данном случае неограниченно растёт). Правильная практическая реализация критерия Коши сравнивает текущее значение с окном за последние $k$ шагов, а не с одним предыдущим.

Практика: 30 заданий

Базовые задания (1–10)

Задание 1: Докажи по определению, что $\lim\limits_{n\to\infty} \dfrac{1}{n+2} = 0$.

Задание 2: Докажи по определению, что $\lim\limits_{n\to\infty} \dfrac{3n}{n+1} = 3$.

Задание 3: Докажи по определению, что $\lim\limits_{n\to\infty} \left(5 - \dfrac2n\right) = 5$.

Задание 4: Для последовательности $a_n = \dfrac{1}{n^2} \to 0$ найди конкретное $N$, начиная с которого $|a_n| < 0{,}01$.

Задание 5: Является ли последовательность $a_n = (-1)^n \cdot n$ монотонной? Ограниченной? Обоснуй.

Задание 6: Докажи, что $a_n = \dfrac{n}{n+1}$ монотонна и ограничена, и найди её предел, используя теорему Вейерштрасса.

Задание 7: Приведи пример ограниченной, но не монотонной последовательности без предела, у которой при этом есть хотя бы две сходящиеся подпоследовательности.

Задание 8: Докажи по определению, что $\lim\limits_{n\to\infty}\left(2 + \dfrac{(-1)^n}{n}\right) = 2$.

Задание 9: Докажи: если $a_n \to a$, то $|a_n| \to |a|$.

Задание 10: Докажи единственность предела: если $a_n \to a$ и $a_n \to b$, то $a = b$.

Средние задания (11–20)

Задание 11: Докажи по определению, что $\lim\limits_{n\to\infty}\left(\sqrt{n+1} - \sqrt{n}\right) = 0$.

Задание 12: Докажи, что $a_n = \left(1+\dfrac1n\right)^n$ монотонно возрастает и ограничена сверху числом $3$ (не вычисляя точный предел).

Задание 13: Дана рекуррентная последовательность $a_1 = \sqrt2$, $a_{n+1} = \sqrt{2+a_n}$. Докажи, что она сходится, и найди предел.

Задание 14: Метод Ньютона для $\sqrt2$: $a_1 = 1$, $a_{n+1} = \dfrac12\left(a_n + \dfrac{2}{a_n}\right)$. Докажи сходимость и найди предел.

Задание 15: Докажи, что последовательность частичных сумм $s_n = \sum_{k=1}^n \dfrac{1}{k^2}$ сходится (не вычисляя точный предел).

Задание 16: Найди все предельные точки (пределы подпоследовательностей) последовательности $a_n = n - 3\left\lfloor \dfrac n3 \right\rfloor$ (остаток от деления $n$ на $3$).

Задание 17: Обоснуй, почему последовательность $a_n = \sin n$ гарантированно содержит сходящуюся подпоследовательность, не находя её явно.

Задание 18: Используя критерий Коши, докажи, что последовательность частичных сумм $s_n = \sum_{k=1}^n \dfrac{(-1)^{k+1}}{k}$ сходится (без вычисления точного предела).

Задание 19: Покажи, что последовательность частичных сумм гармонического ряда $s_n = \sum_{k=1}^n \dfrac1k$ не является фундаментальной, хотя $s_{n+1}-s_n \to 0$.

Задание 20 (ML): Функция потерь $L_n$ в градиентном спуске монотонно убывает и ограничена снизу нулём. Докажи, что $L_n$ сходится, и объясни, почему это не гарантирует сходимости последовательности параметров $\theta_n$.

Продвинутые задания (21–30)

Задание 21: Докажи: если $a_n \to a$, то $\{a_n\}$ фундаментальна.

Задание 22: Докажи, что фундаментальная последовательность ограничена.

Задание 23: Докажи: если последовательность $\{a_n\}$ фундаментальна и некоторая её подпоследовательность $a_{n_k} \to a$, то и вся последовательность $a_n \to a$.

Задание 24: Дана $a_1=1$, $a_{n+1}=\dfrac{1}{1+a_n}$. Докажи, что последовательность сходится, и найди предел.

Задание 25: Докажи по определению, что $a_n = \dfrac{n!}{n^n} \to 0$.

Задание 26: Исследуй сходимость $a_n = x^n$ в зависимости от вещественного параметра $x$.

Задание 27: Докажи: монотонно возрастающая неограниченная сверху последовательность стремится к $+\infty$ (то есть для любого $M$ найдётся $N$: $n>N \Rightarrow a_n>M$).

Задание 28 (ML): Пусть последовательность приближений $\theta_n \in \mathbb{R}^d$ удовлетворяет $\|\theta_{n+1}-\theta_n\| \le q\|\theta_n-\theta_{n-1}\|$ для некоторого фиксированного $0

Задание 29: Обоснуй (кратко, на качественном уровне), что $a_n = \cos n$ расходится, но имеет бесконечно много различных предельных точек.

Задание 30: Докажи вторую половину теоремы Вейерштрасса (для убывающей ограниченной снизу последовательности), сведя её к уже доказанному случаю возрастающей.

Частые ошибки

Ошибка 1. Путают «предел существует» с «последовательность когда-нибудь достигает предела».

Как выглядит: услышав $1/n \to 0$, ищут номер $n$, при котором $1/n$ равно нулю.

Почему возникает: слово «предел» ассоциируется с конечной точкой пути, а не с недостижимым ориентиром.

Как правильно: определение требует лишь, чтобы члены последовательности сколь угодно близко подходили к $a$ начиная с некоторого номера — совпадение с $a$ не требуется и обычно не происходит никогда. $1/n$ не равно нулю ни при одном натуральном $n$, и это никак не противоречит $\lim 1/n = 0$.

Ошибка 2. Путают порядок кванторов: пишут (или мысленно используют) «$N$, работающее для любого $\varepsilon$», вместо «для каждого $\varepsilon$ — своё $N$».

Как выглядит: находят $N$ для одного конкретного $\varepsilon$ (например, для $\varepsilon=0{,}1$) и по инерции считают, что то же самое $N$ обслужит любую точность.

Почему возникает: кванторное сокращение «для любого $\varepsilon$ существует $N$» на бытовом языке легко превращается в «есть какое-то общее $N$», хотя в определении заложена строгая последовательность действий: сначала $\varepsilon$, потом $N(\varepsilon)$.

Как правильно: $N$ почти всегда зависит от $\varepsilon$, и чем меньше $\varepsilon$, тем, как правило, больше нужный $N$. Доказательство обязано предъявлять формулу или оценку $N(\varepsilon)$, а не одно число.

Ошибка 3. Считают, что ограниченность сама по себе гарантирует сходимость.

Как выглядит: «последовательность ограничена, значит у неё есть предел».

Почему возникает: путают теорему Вейерштрасса (монотонность плюс ограниченность) с одной только ограниченностью.

Как правильно: $(-1)^n$ ограничена, но расходится. Ограниченность без монотонности гарантирует по теореме Больцано — Вейерштрасса лишь существование сходящейся подпоследовательности, а не сходимость всей последовательности.

Ошибка 4. В теореме Вейерштрасса требуют ограниченность с обеих сторон, даже когда она не нужна.

Как выглядит: доказывая сходимость возрастающей последовательности, ищут (и не находят) её ограниченность снизу, застревая на пустой задаче.

Почему возникает: слово «ограничена» интуитивно воспринимается как «ограничена с обеих сторон».

Как правильно: для возрастающей последовательности достаточно ограниченности сверху — снизу она автоматически ограничена первым членом ($a_n \ge a_1$ при всех $n$). Симметрично для убывающей нужна только ограниченность снизу.

Ошибка 5. Считают, что теорема Больцано — Вейерштрасса гарантирует сходимость исходной последовательности.

Как выглядит: «последовательность ограничена, значит по теореме Больцано — Вейерштрасса она сходится».

Почему возникает: теорему помнят как факт «про сходимость», не фиксируя, что речь идёт именно о подпоследовательности.

Как правильно: теорема гарантирует существование сходящейся подпоследовательности, но ничего не говорит про исходную последовательность целиком — $(-1)^n$ снова тому пример: у неё есть сходящиеся подпоследовательности, но сама она расходится.

Ошибка 6. Проверяют сходимость через $|a_{n+1}-a_n| \to 0$ вместо настоящего критерия Коши.

Как выглядит: «разница соседних членов стремится к нулю, значит последовательность фундаментальна и сходится».

Почему возникает: критерий Коши требует малости $|a_n-a_m|$ для всех пар $n,m>N$, а на практике легче всего проверить только соседние члены — и разница кажется несущественной.

Как правильно: частичные суммы гармонического ряда — контрпример: $s_{n+1}-s_n \to 0$, но $s_{2n}-s_n \ge \frac12$ для всех $n$, и последовательность расходится. Настоящая проверка критерия Коши должна учитывать разрыв между произвольно далёкими членами, а не только соседними — в коде это означает сравнение с окном за несколько последних шагов, а не с одним предыдущим.

Ошибка 7. Путают предел последовательности с пределом функции и без оговорок применяют к последовательностям техники (например, правило Лопиталя), рассчитанные на непрерывный аргумент.

Как выглядит: пытаются продифференцировать выражение с $n$ по $n$ напрямую, забывая, что $n$ принимает только натуральные значения.

Почему возникает: формулы для последовательностей и функций визуально неотличимы.

Как правильно: прежде чем применять инструменты матанализа функций (производные, правило Лопиталя), нужно явно заменить $n$ на непрерывную переменную $x$, доказать существование предела функции при $x\to\infty$ и лишь затем (по теореме о связи предела функции и предела последовательности, часто называемой теоремой Гейне) перенести результат обратно на последовательность.

Главное запомнить

• Определение предела: $a_n \to a$, если для любого $\varepsilon>0$ найдётся $N$ такое, что для всех $n>N$ выполняется $|a_n-a|<\varepsilon$. Порядок кванторов принципиален: сначала $\varepsilon$, потом $N(\varepsilon)$.

• Предел последовательности, если существует, единствен; сходящаяся последовательность всегда ограничена (обратное неверно).

• Монотонная последовательность — та, что только возрастает или только убывает (нестрого или строго). Ограниченная — та, у которой все члены лежат между некоторыми $m$ и $M$.

• Теорема Вейерштрасса: возрастающая и ограниченная сверху (или убывающая и ограниченная снизу) последовательность обязательно сходится — к своей точной верхней (нижней) грани. Теорема гарантирует существование предела, не давая формулы для него.

• Подпоследовательность — последовательность, полученная выбором части членов с сохранением порядка индексов. Если $a_n\to a$, то и любая её подпоследовательность $\to a$; обратный факт даёт быстрый способ доказывать расходимость: две подпоследовательности с разными пределами исключают сходимость всей последовательности.

• Теорема Больцано — Вейерштрасса: всякая ограниченная последовательность содержит сходящуюся подпоследовательность — существование гарантировано даже там, где явную формулу для подпоследовательности выписать невозможно.

• Фундаментальная (Коши) последовательность: для любого $\varepsilon>0$ найдётся $N$, при котором $|a_n-a_m|<\varepsilon$ для всех $n,m>N$ — сравнение членов друг с другом, а не с (возможно, неизвестным) пределом.

• Критерий Коши: в $\mathbb R$ последовательность сходится тогда и только тогда, когда она фундаментальна. Направление «сходится $\Rightarrow$ фундаментальна» — прямое следствие неравенства треугольника; обратное опирается на ограниченность фундаментальной последовательности плюс теорему Больцано — Вейерштрасса.

• Близость соседних членов ($a_{n+1}-a_n\to0$) не эквивалентна фундаментальности — гармонический ряд расходится, несмотря на то что его соседние частичные суммы сближаются.

• В ML: монотонно убывающий и ограниченный снизу loss сходится по теореме Вейерштрасса (но параметры модели могут при этом не сходиться); сжимающие отображения ($\|\theta_{n+1}-\theta_n\|\le q\|\theta_n-\theta_{n-1}\|$, $q<1$) порождают фундаментальные последовательности, что и доказывает сходимость метода Ньютона, итераций Беллмана и других итерационных алгоритмов.

Связь с другими темами курса

Что нужно было знать до этого урока

Строгий язык кванторов «для любого $\varepsilon$ существует $N$» и работа с неравенствами напрямую опираются на аппарат из урока 176 («Множества и операции, углубление») — формальную логику высказываний с кванторами и операции над множествами, без которых запись определения предела осталась бы интуитивной фразой. Из урока 177 взято понятие функции и, в частности, монотонности и композиции — последовательность формально это функция с областью определения $\mathbb N$, а построенные в этом уроке рекуррентные последовательности $a_{n+1}=f(a_n)$ — это композиции функции $f$ самой с собой. Общий алгебраический аппарат — работа с неравенствами, модулем, домножение на сопряжённое выражение — предполагается известным из школьного курса и курса функций (урок 157 и далее), а свойство полноты вещественных чисел (существование супремума у ограниченного множества), на котором держится теорема Вейерштрасса, обсуждалось при построении числовых множеств.

Что изучить дальше

Урок 179 «Теоремы о пределах» берёт строгое $\varepsilon$-$N$ определение из этого урока и выводит из него арифметику пределов: предел суммы равен сумме пределов, предел произведения — произведению, и так далее, вместе с правилами раскрытия неопределённостей вида $\frac{\infty}{\infty}$ и $0\cdot\infty$. Каждое из этих правил доказывается тем же приёмом, что мы использовали здесь: взять $\varepsilon$, оценить нужную разность, подобрать $N$. Урок 180 «Замечательные пределы» вычисляет явные значения для классических последовательностей — включая точное числовое значение для $\left(1+\frac1n\right)^n$, существование которого мы в этом уроке лишь доказали через теорему Вейерштрасса, не называя предел по имени. Дальше по курсу пределы последовательностей естественно перетекают в пределы функций, непрерывность и, в конце концов, в ряды — где фундаментальность (критерий Коши) снова оказывается главным инструментом проверки сходимости.

Где это нужно в жизни

💻 Программирование. Критерии остановки итерационных алгоритмов (while abs(x_new - x_old) > tol) — это практическая, часто урезанная реализация критерия Коши; правильная реализация должна учитывать это ограничение (задание 20, ошибка 6). Метод Ньютона, градиентный спуск, итерационные линейные солверы (метод Якоби, Гаусса — Зейделя) — все они анализируются через монотонность, ограниченность и сжимающие отображения этого урока.

🤖 ML/AI. Доказательства сходимости оптимизаторов (SGD, Adam на выпуклых задачах) опираются на теорему Вейерштрасса для последовательности значений функции потерь; итерации Беллмана в обучении с подкреплением (value iteration, policy iteration) доказанно сходятся именно потому, что являются сжимающим отображением — это дословно задание 28. Ранняя остановка обучения (early stopping) — это, по сути, эвристическая проверка приближения к пределу без строгого критерия Коши.

📊 Data Science. Стабилизация метрик при онлайн-обучении и A/B-тестах (когда усреднённая метрика «выходит на плато») интерпретируется через сходимость последовательности скользящих средних; обнаружение того, что метрика колеблется между двумя уровнями вместо сходимости, формально означает наличие двух подпоследовательностей с разными пределами.

🔬 Наука и инженерия. Итерационные численные методы решения уравнений (метод простой итерации, метод Ньютона в вычислительной физике) обосновываются ровно тем же аппаратом сжимающих отображений и критерия Коши. В термодинамике приближение системы к равновесию — классический пример монотонной ограниченной последовательности состояний.

💰 Финансы. Итерационные схемы ценообразования опционов (биномиальные деревья, сходящиеся к формуле Блэка — Шоулза при измельчении шага по времени) и итерационный расчёт внутренней нормы доходности (IRR) методом Ньютона — оба процесса требуют именно тех гарантий сходимости, что даёт этот урок.

Интересные факты

• Бернард Больцано дал определение, эквивалентное современному $\varepsilon$-$N$, ещё в 1817 году — на 30–40 лет раньше берлинских лекций Вейерштрасса. Работа вышла в Праге в малотиражном журнале и осталась почти незамеченной европейским математическим сообществом вплоть до конца XIX века — редкий и поучительный случай, когда правильная идея появилась слишком рано и не в том месте, чтобы на неё обратили внимание.

• Полнота вещественных чисел, на которой держится теорема Вейерштрасса, была строго обоснована лишь в 1858–1872 годах Рихардом Дедекиндом (через сечения) и параллельно Георгом Кантором — через классы эквивалентности фундаментальных последовательностей рациональных чисел. То есть само множество вещественных чисел в одной из стандартных конструкций буквально составлено из фундаментальных последовательностей этого урока: каждое вещественное число — это, по сути, класс последовательностей рациональных приближений к нему.

• Метод Ньютона из задания 14 сходится квадратично: число верных знаков после запятой примерно удваивается на каждом шаге. Всего за пять-шесть итераций из грубого начального приближения получается точность в десятки значащих цифр — этот же принцип лежит в основе быстрых аппаратных и программных реализаций квадратного корня, включая знаменитый приближённый трюк «быстрого обратного квадратного корня» из движка Quake III.

• Теорема Больцано — Вейерштрасса обобщается далеко за пределы числовых последовательностей: в функциональном анализе её аналоги (теорема Арцела — Асколи и другие компактностные критерии) используются для доказательства существования решений дифференциальных уравнений и — в современном машинном обучении — для доказательства существования оптимальных параметров в некоторых постановках теории обучения.

Лайфхаки и полезные трюки

1. Не ищи точное минимальное $N$ — ищи любое достаточное. В доказательстве через $\varepsilon$-$N$ важно только существование $N$, а не его оптимальность. Как в примере с $\sqrt{n+1}-\sqrt n$, грубая, но простая оценка сверху почти всегда быстрее и надёжнее точного решения неравенства.

2. Если предел неизвестен — сначала проверь монотонность и ограниченность, а не пытайся угадать $\varepsilon$-$N$ напрямую. Доказать возрастание через знак $a_{n+1}-a_n$ (или отношение $a_{n+1}/a_n$ для положительных членов) обычно быстрее, чем подбирать $N(\varepsilon)$ для неизвестного числа. После применения теоремы Вейерштрасса предел часто находится переходом к пределу в рекуррентном соотношении.

3. Хочешь доказать расходимость — ищи две подпоследовательности с разными пределами. Это почти всегда короче доказательства «от противного» через полное определение предела: достаточно предъявить два конкретных куска последовательности.

4. Никогда не путай «$a_{n+1}-a_n\to0$» с критерием Коши. Проверяй разность для далёких, а не только соседних индексов — тест «$s_{2n}-s_n$» (как в разборе гармонического ряда) — быстрый способ опровергнуть фундаментальность, если она неверна.

5. При оценке разностей с корнями используй домножение на сопряжённое выражение. Это стандартный приём, превращающий разность растущих корней в дробь с растущим знаменателем — работает для любых выражений вида $\sqrt{f(n)}-\sqrt{g(n)}$.

6. В коде проверяй сходимость обучения по окну, а не по одному шагу. Вместо abs(loss[n] - loss[n-1]) < eps сравнивай текущее значение со скользящим средним за последние $k$ шагов — это ближе к настоящему критерию Коши и устойчивее к шуму отдельных мини-батчей.

7. Для рекуррентных последовательностей $a_{n+1}=f(a_n)$ сначала найди неподвижную точку $L=f(L)$. Это число почти наверняка окажется пределом (если сходимость вообще есть), и знание его заранее сильно упрощает доказательство ограниченности индукцией — ты сразу знаешь, какую границу доказывать.

Строгое определение предела — это не бюрократическая формальность поверх интуиции, а инструмент, который отличает «мне кажется, что сходится» от «доказано, что сходится». Ты теперь умеешь не только проверять сходимость конкретного числа напрямую, но и устанавливать её абстрактно — через монотонность и ограниченность, через существование сходящегося среза у ограниченной последовательности, через самосогласованность членов друг с другом без знания предела заранее. Именно эти три обходных пути и делают анализ практичным: в реальных задачах, от градиентного спуска до итерационных численных методов, предел почти никогда не известен заранее, а вопрос всегда один — можно ли быть уверенным, что он вообще существует. Следующий урок берёт это строгое определение и превращает его в рабочий инструмент: арифметику пределов, которая избавит от необходимости каждый раз возвращаться к $\varepsilon$ и $N$.