Создатели Grokbot рассказали о том, как превратить ИИ-агентов в коллег
Лорен Тан и Роман Угарте из команды Grokbot рассказали в подкасте Y Combinator, как за семь недель довели продукт от первой строчки кода до запуска. Они объяснили, почему ботам нужно давать больше доступа постепенно, как автоматические проверки помогают агентам контролировать собственную работу и почему, когда выполнение задач дешевеет, главным становится умение четко ставить цели.
Что такое Grokbot
Grokbot — продукт, в котором можно создавать ИИ-коллег. У каждого бота есть имя, роль, навыки и инструменты. Ведущие подкаста отметили, что Grokbot теперь встроен в личные сообщения X.
Продукт вырос из внутреннего прототипа. По словам Угарте, команда увидела, как ИИ-агенты изменили работу инженеров, и захотела дать такие же возможности остальным сотрудникам. В основу легли три принципа:
— работа строится вокруг ботов, а не вокруг чатов или файлов
— у бота те же инструменты, что и у человека, вплоть до собственного компьютера
— бот работает постоянно и сам приходит с идеями, а не ждет команды.
Внутри компании Grokbot понравился и самым продвинутым пользователям ИИ, и тем, кто пользуется им меньше всего. Похожую реакцию команда увидела после выхода на рынок: начать просто, а чем больше настраиваешь бота под себя, тем полезнее он становится.
Доверие к боту растет постепенно
На вопрос о правах доступа Угарте отвечает так: подумайте, что бы вы сделали для человека. Новому сотруднику дают компьютер и доступы в зависимости от роли, а по мере роста доверия расширяют их. С ботом то же самое.
Угарте описывает три шага. Сначала бот только читает данные. Так в компании появился Databot: команде data science постоянно писали в Slack с просьбами быстро что-то проанализировать, и она создала бота с доступом к базе данных только на чтение. На втором шаге бот уже действует сам и доводит задачу до конца. На третьем отвечает за целую функцию или результат — до этого, по признанию Угарте, еще далеко.
Пример второго шага — команда performance-маркетинга. Она дала боту собственные логины в Google Ads и Facebook Ads и бюджет. Бот договаривается с ботом дизайнеров, который готовит креативы, и запускает A/B-тесты.
Один бот — одна задача
Угарте предпочитает ботов, каждый из которых отвечает за что-то одно. По его словам, это похоже на найм: лучше человек, который одержим одной проблемой, чем супергерой, который одновременно думает о сотне задач. Управлять таким ботом должен эксперт, который лучше всех в компании понимает проблему — как наставник учеником.
Ведущие подкаста отметили, что одни из самых увлеченных пользователей Grokbot — малый бизнес: ему сложнее всего нанимать людей. Например, вместо бухгалтера, которого не удается найти, можно за несколько часов настроить бота для учета.
Около двух недель назад команда запустила Team Bots — ботов, которыми можно делиться с коллегами. Обычно их создают сотрудники с инженерным складом ума, причем не только в разработке, но и в продажах и поддержке.
Работа переезжает в Slack
Тан называет Grokbot своим «внешним циклом». Раньше она сама собирала контекст для агентов: обсуждала баг или запрос на функцию с коллегами в Slack, а потом пересказывала все боту. Теперь боты сами находятся там, где идет работа.
Однажды Тан, ее коллега Саманта и бот по имени Potato сделали целую функцию в одной ветке Slack — около 200 сообщений. Бот запускал облачного агента Cursor с собственной виртуальной машиной, тот собирал прототип и присылал скриншоты и видео. В Cursor Тан за весь проект так и не заглянула.
Угарте видит в этом важный побочный эффект: раньше работа с агентами была приватной, а теперь у всех на виду. Сотрудники видят, как самые продвинутые коллеги используют агентов, и на следующий день повторяют то же самое.
Боты общаются и друг с другом, причем переписка видна людям. Тан рассказала, как дала замечание боту — ведущему инженеру, а тот передал его подчиненным ботам в почти строгом тоне.
Минимальный цикл: агент проверяет сам себя
По словам Тан, агенты уже умеют писать и запускать код. Но в большинстве случаев проверяет результат человек, поэтому настоящего цикла нет. Самый маленький цикл появляется, когда агент сам запускает приложение так, как это сделал бы пользователь, снимает метрики производительности и находит ошибки в своем коде.
Такой цикл гарантирует, что код делает то, что нужно, но не гарантирует, что он хороший. Новая работа инженера, считает Тан — сделать так, чтобы агенты писали хороший код по умолчанию. Когда это получается, можно строить внешний цикл: например, срабатывает алерт по метрике, бот воспроизводит проблему на своей машине и исправляет ее. Сейчас агенты Тан сами вливают свои pull request, По словам ведущих, когда Тан выступала с популярной презентацией о своем процессе разработки, она отправляла больше 2000 PR в месяц, а сейчас — больше 4000.
Перевернутая пирамида вместо дорогого ревью
Код-ревью силами агентов может стоить десятки миллионов токенов. Тан стала меньше полагаться на ревью разными моделями: агент не всегда отличает полезное замечание от бесполезного и не знает, как будет развиваться продукт.
Вместо этого она вкладывается в сам код: архитектуру, дизайн API, статический анализ и правила линтера. Пример — десктопное приложение Grokbot на Electron. Из опыта разработки Cursor команда знала, что долгие задачи в потоке отрисовки делают интерфейс дерганым. Чтобы не ловить это на ревью, команда запретила импорт между основным потоком и потоком отрисовки и проверяет это автоматически.
Свои навыки для агентов Тан собрала в PStack и выложила в открытый доступ. Набор вдохновлен GStack — набором навыков одного из ведущих подкаста, Гарри Тана. Тан советует не копировать чужие наборы целиком, а форкать их и собирать свой.
Узкое место — не код, а цели
Когда можно запустить сотню агентов на одну задачу, ошибки будут происходить не на этапе выполнения, а на этапе постановки цели, считает Угарте. Компаниям придется решать, какие метрики задавать агентам и кто за это отвечает. С производительностью приложения это сделать проще, чем с маркетингом.
В команде Grokbot узким местом стало согласие о том, каким должен быть продукт. Почти на любое предложение у кого-нибудь уже есть готовый PR, но вливать все подряд нельзя — получится «франкенштейн». Если изменение не нашло спроса внутри компании, его не выпускают.
Мелкие баги, наоборот, исправляются без людей. Бот Sandy каждый день получает тысячи отзывов из продукта, поддержки и X, воспроизводит проблемы, исправляет их и вливает изменения. Свои «фабрики» Тан направляет на поддержку и производительность, а не на новые функции: опыт для людей, по ее словам, должны продумывать люди.
Чем фабрика кода отличается от остальной компании
Угарте видит два различия. Код либо компилируется и проходит проверки, либо нет, а у остальной работы таких критериев нет. Кроме того, контекст для кода лежит в репозитории, а важные знания остальной компании хранятся в головах сотрудников и в бумагах. Ему интересно, как будут устроены стартапы, которые с первого дня строят «фабрику» не только для кода, а для всей компании.
