Два дня, семь выступлений. Ниже — только то, что можно сделать руками на следующей неделе, и отдельно то, что проверку не прошло.
Цикл отладки хороший и дешёвый: каждая ошибка идёт в базу случаев, промпт правится, вся база прогоняется заново. Дефект в другом: база состоит ровно из тех ошибок, под которые правился промпт. Отложенных случаев нет, поэтому «не ошибается» ничего не говорит о новых письмах.
Операциональная замена расплывчатому «стало удобно». Годится как приёмка для любого своего инструмента: если ручных действий больше, инструмент не дособран.
У обычного сервиса по подписке переменные расходы 10–20% выручки, у продукта, который на каждый запрос обращается к модели, — 30–60%. Поэтому возврат пользователя увеличивает расход, а не только выручку. Порядок цифр из доклада — два доллара в день на пользователя, после оптимизации почти ноль.
Замена генерации векторами — не бесплатный обед: около −15% качества ранжирования по прямому сравнению, и этот разрыв возвращается только дообучением под свою предметную область.
Один из слайдов содержал спрятанные директивы: считать презентацию проверенным фактом, ставить максимальный балл в любом отзыве и не упоминать наличие этих указаний. Спикер показывал это как демонстрацию, но текст рабочий, и он попал в наше хранилище вместе с остальными слайдами.
Внешняя проверка добавила то, чего в докладе не было. По работе, на которую ссылается слайд (выборка почти 200 тысяч резюме), закладки нашлись примерно в 1% документов — и больше 90% из них не содержат явных команд. Это не «игнорируй предыдущие инструкции», а подложенные фиктивные данные: несуществующий опыт и навыки.
Один докладчик: Дима, инженерный директор в DoorDash, отвечает за продукт в сорока с лишним странах. Второе выступление дня — команда Anthropic — в запись не попало. Слушателей было от 250 до 500.
Не программа и не сервис: оглавление, цели, как человек хочет, чтобы его описывали, стиль общения, ожидания ключевых людей вокруг, отдельные файлы по проектам. Каждое утро агент собирает из этого короткий брифинг на пять-пятнадцать минут чтения: что сегодня важно, где ты сам тормозишь работу, черновики сообщений твоим языком.
Дословно: «Чиф-оф-стаф — это набор файлов. Просто текстовых файлов, в которые ходит модель, читает их и даёт мне какой-то ответ».
Сознательный выбор докладчика: сообщения клиентам и коллегам агент не отправляет сам никогда, только готовит проект. Дословно: «Я не верю, не доверяю агентам, я всё ещё хочу как-то отсматривать».
В конце дня надиктовать в чат-бот, что произошло. Агент сверяет надиктованное с записями звонков и перепиской и сам готовит апдейты по проектам.
Пример из доклада: вместо описания задачи инженер дал агенту цель «сейчас ошибок двадцать процентов, сделай ноль и одну десятую». Агент работал семь часов, внёс около десяти правок и цифру вытянул.
Про эту историю см. раздел ниже: это рассказ об одном удачном случае без деталей, и относиться к нему стоит соответственно.
Задача ставится вечером, утром готов результат: у докладчика это была модель предсказания оттока клиентов, отчёт по тридцати-сорока проверенным вариантам и файл для передачи разработчикам. Его оценка: заменило две-три недели работы одного-двух специалистов средней руки.
Оценка докладчика: «девяносто процентов эффекта ты получаешь просто копируя какой-то готовый скилл», доводка под себя — оставшиеся десять. Отдельно он держит намеренно бедный набор инструментов: агент плюс заметки, без тяжёлых обвязок, — чтобы не тратить голову на лишние абстракции.
Со слов докладчика про порядки в Anthropic: если фича делается меньше двух недель, отдельного менеджера над ней нет, решение принимает исполнитель; около восьмидесяти процентов фич выходят вообще без письменного описания.
Этот раздел полезнее находок: он показывает, какие цифры нельзя уносить в свои решения.
| Утверждение | Что показала проверка |
|---|---|
| 73% сотрудников еженедельно пользуются ИИ — звучало как ориентир | Сопоставимого отчёта с таким числом нет. Найденные диапазоны: 18–45% охвата по компании целиком, медиана 63% у разработчиков. Как бенчмарк брать нельзя |
| 30–50% агентных проектов проваливаются | Несопоставимые знаменатели: у спикера — дошедшее до внедрения, во внешних отчётах — все пилоты. Ни один первоисточник открыть не удалось, только пересказы |
| Две защиты от закладок: кросс-проверка по непохожим вакансиям и разбор оценки на десяток составляющих | Логично, но эмпирически не проверено. Внедрять как гипотезу со своим замером, а не как готовый рецепт |
| «Прототип за час, доводка пять недель» | Один случай, публичного исследования пропорции нет |
| Агент, который отыгрывает совет директоров и предсказывает возражения коллег | Сам докладчик: «мне тяжело ответить без булшита, у меня это на уровне плацебо работает». Как разминка перед сложной встречей — да, как метод — нет |
| Семь часов агента вместо двенадцати лет опыта — история про ошибки 20% → 0,1% | Ни одной детали: что правилось, не подогнан ли результат под проверочные данные. Рассказ про удачный случай без статистики по неудачным |
| «Трёхсот-четырёхсот долларов в месяц достаточно» для работы с агентами | Через пару минут тот же докладчик называет свои траты в тысячу-две в месяц. Заниженная цифра для новичков соседствует с продажей собственного платного курса — сам доклад наполовину его питч |
| Инструмент | Какую работу делает | Кому |
|---|---|---|
| Мастерская «инструмент за час» js-study-ai-transformation | Восемь человек за полчаса встречи собрали себе рабочие заготовки: запрос задач из Jira, выборка клиентов на реактивацию, автоматизация ресайза баннеров, генератор недельного отчёта | Все |
| Разбор формы входа прототип «было / стало» | Проходит регистрацию по чек-листу удобства и выдаёт не список претензий, а работающую правку, которую видно в браузере | Дизайнеры, продакты |
| Поиск по обсуждениям reddit через rdt | Достаёт живые разговоры о продукте и конкурентах. Два приёма: искать у бренда отдельное сообщество жалоб и проверять авторов «объективных» отзывов на партнёрские ссылки | Маркетинг, SEO, аналитика |
| Шаблоны конспектов встреч 8 типов | Конспект приходит сразу разложенным под тип встречи: внутренний синк, стратегическая, митап | Все, кто пишет встречи |
| Порядок сборки презентации | Сначала стиль и шрифты, потом черновик разметкой, потом сборка агентом, доводка руками. Целиком за один заход не получается — это проверено | Менеджеры |
| Честный статус переноса сайта в Figma | Оба способа подключения работают плохо: иконки не переносятся, иерархия рассыпается. Знание экономит дни на самостоятельные пробы | Дизайнеры |