English

Based on “How Intercom 2X’d engineering velocity with Claude Code | Brian Scanlan” from How I AI Watch the original video

Unleashing the Code: How Intercom Doubled Engineering Velocity with AI and Reimagined the Software Factory

In the rapidly evolving landscape of artificial intelligence, many companies are grappling with how to integrate these powerful tools effectively. While some express skepticism about AI’s true impact on productivity, Intercom, the customer messaging platform, stands as a compelling counter-narrative. Under the guidance of senior principal engineer Brian Scanlan, Intercom’s R&D department has achieved a remarkable feat: doubling their engineering throughput in just nine months, largely thanks to a full-throttle adoption of AI, particularly Claude Code.

This isn’t just about incremental gains; it’s a fundamental shift in how software is built, challenging long-held beliefs about developer productivity, code quality, and the very nature of engineering work.

The Moment of Inflection: Imagination, Not Tools, Is the Barrier

For years, the promise of AI in software development felt just out of reach. Code completion tools offered minor conveniences, but nothing truly transformative. Brian Scanlan recounts a pivotal moment around November-December last year, coinciding with the release of more advanced models like Anthropic’s Opus 46 and GPT-4U. “Suddenly you started realizing that you have to think bigger about things,” Scanlan explains, “or that your imagination is now the barrier, not the tool.”

This breakthrough wasn’t just internal; it was a collective awakening. Scanlan describes the atmosphere during the Christmas break, with “everybody go wild on Twitter X,” witnessing developers achieve unprecedented levels of output. The message was clear: “Everything’s changed.”

Intercom’s journey was fueled by an internal AI-first mandate that permeated their product strategy. Having already transformed their customer-facing products with AI, the expectation for similar innovation within engineering was high. This created an environment where impatience for AI adoption was a driving force, pushing the team to go “all-in” rather than dabble.

Measuring the Unmeasurable: 2x Velocity and the Path to 10x

To quantify their progress, Intercom’s CTO, Darra, set an ambitious goal: double the throughput of R&D. They chose a simple, albeit sometimes debated, metric: merged Pull Requests (PRs) per R&D head. This metric, encompassing product managers, designers, and TPMs alongside engineers, revealed a dramatic “number goes up” chart. Within nine months, the team saw a 2x increase in PR throughput.

This isn’t merely about engineers typing faster; it’s about unlocking “the physical limits of my ability to type code,” as Claire Vote, the host of “How I AI,” eloquently puts it. The shift is so profound that Scanlan now asks, “Why can’t it be 10x?” This ambitious outlook stems from a belief that if an organization fully commits, prepares its team, and refines its codebase, it will see significant improvements in product quality and developer experience.

Addressing the common skepticism that such metrics might be “gamed” by shipping smaller, less impactful changes, Scanlan emphasizes Intercom’s high-trust environment. The goal isn’t just speed; it’s about enabling engineers to do more meaningful work, faster and with greater enjoyment. Indeed, Scanlan shares, “I’ve been having the most amount of fun in my career over the last 3 months.”

Beyond Speed: The Surprising Uplift in Code Quality

A frequent concern among engineers and leaders alike is whether increased velocity comes at the cost of quality. Will AI-generated code be “slop” or “garbage”? Intercom’s experience suggests the opposite.

They’ve observed a consistent decrease in the time it takes from the first line of code written to a feature being announced on their news channel. More significantly, Intercom collaborated with a research group at Stanford, providing them with their internal data. The Stanford team’s independent measures of code quality indicated that code quality was actually improving.

This counter-intuitive finding highlights a crucial benefit of AI-driven development: the capacity to tackle technical debt and improve the codebase. As Scanlan and Vote discuss, businesses often have limited capacity for “internal projects” like improving code quality, as these don’t directly generate revenue. However, when the “cost of doing that compresses” due to AI’s efficiency, organizations can afford to invest in developer experience, security, compliance, maintainability, flaky tests, and CI/CD improvements.

This leads to a powerful piece of advice for CTOs and VPs of engineering: “Everything you hate about the codebase, go spend a month fixing and see how fast we can speedrun that. That’s going to feel really good.” This strategic investment in core engineering health, made feasible by AI, ultimately unlocks even greater velocity and higher quality.

The Software Factory: Engineering the Golden Path

Intercom’s success isn’t just about adopting AI; it’s about intentionally engineering their entire software delivery process around it, moving towards what Scanlan calls a “software factory.” This involves treating the engineering organization itself like a product, complete with rigorous design, measurement, and continuous improvement.

One striking example is how Intercom addressed the issue of pull request (PR) descriptions. Initially, AI-generated PR descriptions were “terrible,” merely regurgitating code changes rather than explaining intent – the truly valuable information for human reviewers. Intercom’s solution involved:

1. Defining Quality: They established what a “good” PR description should look like.
2. LLM Judge: An AI model was trained to evaluate PR descriptions, revealing a negative trend in quality with early AI adoption.
3. Custom Skill: They developed a “create PR” skill for Claude Code that leverages session context to generate high-quality, intent-driven descriptions.
4. Enforcement: This skill was integrated as a mandatory hook. If an engineer or agent tries to open a PR without using the skill, it’s blocked.

This approach mirrors the determinism of modern CI/CD pipelines, but applied upstream to the code-writing process itself. “We’re on this movement towards a software factory,” Scanlan explains, where predictability, reliability, and consistent quality are paramount. This ensures that while engineers move faster, they still adhere to the high standards of a mature, 15-year-old SaaS company.

The Invisible Infrastructure: Telemetry and Personalized Feedback

Underpinning Intercom’s “software factory” is a sophisticated system for monitoring and improving AI usage. They don’t “fly blind.”

1. Skill Telemetry with Honeycomb: Every internal AI skill is instrumented with event-level telemetry, sending data to Honeycomb. This allows individual skill developers to see how often their skills are invoked, by whom, and when, fostering a data-driven approach to skill development.
2. Session Data Analysis with S3: All raw Claude Code session data (the chat logs) is anonymized, uploaded to S3, and then analyzed. This allows Intercom to identify broader organizational trends, common pitfalls, and areas where training or new skills are needed.
3. Personalized Feedback: Based on this session data, Intercom developed a simple internal tool that provides personalized feedback to individual engineers on their Claude Code usage. This helps new hires or those struggling to understand how to optimize their interactions, supporting a culture of continuous learning and self-improvement.

This robust telemetry system ensures that Intercom can identify bottlenecks, improve their internal tools, and provide targeted support, preventing the common problem of “throwing an API key and saying best of luck.”

The Elephant in the Room: AI Costs

The exponential growth in AI usage inevitably raises questions about cost. Scanlan readily admits that their AI bill “looks exactly like this” (referencing the steep velocity growth chart). “It’s like hiring whole new offices of people,” he notes.

Intercom’s current strategy is to prioritize speed over cost optimization. Their attitude is, “everyone just turn on Opus for everything… going as fast as possible and caring about the bill later.” This reflects a strategic investment mindset, believing that the significant benefits gained from rapid innovation and increased throughput outweigh the immediate costs. However, Scanlan acknowledges this might not be feasible for every business and that future optimization will be necessary if costs continue at the current rate.

The Future: Agent-First and Higher-Level Concerns

Looking ahead, Intercom envisions a future where “all technical work will become agent first.” This means AI agents will handle the foundational, repetitive tasks, freeing human engineers to operate at a higher level, focusing on complex problem-solving, strategic design, and truly innovative features.

The shift is profound: instead of engineers spending time on boilerplate code or debugging minor issues, agents will take on this “basic work,” allowing humans to “move up to higher level to be able to like work on higher level concerns or just getting more stuff built more stuff out there or higher quality.”

Intercom’s journey with Claude Code is more than just a case study in productivity; it’s a blueprint for reimagining the entire software development lifecycle. By embracing AI comprehensively, treating the organization as a product, meticulously measuring outcomes, and proactively engineering for quality, Intercom has not only doubled its engineering velocity but has also cultivated a more engaging, productive, and ultimately more fun environment for its engineers. For any organization looking to leverage AI in engineering, Intercom’s experience offers invaluable lessons and a compelling vision for the future.

Based on “Inside the Five Days That Remade the Supreme Court” from New York Times Podcasts Watch the original video

The Secret Birth of the Supreme Court’s Shadow Power

For the better part of a decade, the U.S. Supreme Court has operated with a parallel, often perplexing system for issuing major rulings – one that bypasses the traditional, deliberate processes that define American justice. This increasingly powerful mechanism, dubbed the “shadow docket,” has been responsible for consequential decisions on everything from immigration policy to presidential authority, often with little to no public explanation. Now, a groundbreaking New York Times investigation has pierced this veil of secrecy, revealing the precise, dramatic five days in 2016 when this expedited system was born, effectively remaking the nation’s highest court.

At the heart of this revelation are 16 pages of confidential correspondence among the justices themselves, offering an unprecedented look into their private deliberations. These documents, unearthed by Times journalists Jodie Caner and Adam Liptac, allow us to “eavesdrop on the justices at the exact moment that they are abandoning time-tested norms of judicial procedure and backing themselves into a new way of doing business.”

Understanding the Shadow Docket

To truly grasp the significance of this shift, one must understand the stark contrast between the Supreme Court’s traditional “merits docket” and its shadowy counterpart. The merits docket is the familiar image of the court: justices meticulously select cases, receive multiple rounds of detailed briefs, hear extensive oral arguments, engage in in-person deliberations, and then exchange numerous drafts of lengthy, reasoned opinions, concurrences, and dissents. This painstaking process, often stretching over a year, culminates in decisions that can be hundreds of pages long, providing binding law and clear guidance to lower courts and the nation.

The shadow docket, however, short-circuits all of this. It operates with extreme speed, relying on thin briefs, no oral arguments, and no in-person deliberations. Its rulings are typically brief, often consisting of scant or even no reasoning at all. Yet, over the last ten years, it has become a major part of the court’s business, particularly during the Trump administration, where it was used to grant the president enormous leeway on issues like immigration, government spending, and agency power. Critics have consistently warned that this exponential increase in use, combined with the lack of transparent reasoning, raises critical questions: Is the court rushing to rule based on gut instinct, personal pique, or partisan impulse – precisely the elements a slow, deliberate, and judicious system is designed to avoid?

Defenders of the shadow docket argue that emergency orders have a long history, typically reserved for truly time-sensitive matters like death penalty cases or election disputes. They also contend that these orders are merely temporary, designed to maintain the status quo while cases proceed through lower courts. However, as Caner and Liptac point out, this “temporary” label often masks a very different reality. If the court allows the deportation of thousands of people, or the withholding of aid money, or the firing of employees, those actions, though nominally temporary, are often irreversible and conclusive in their practical effect. They are, in essence, final decisions made without the benefit of the court’s usual rigorous process.

The Unprecedented Request: Obama’s Clean Power Plan

The crucible for this seismic shift was a case in 2016 concerning President Barack Obama’s Clean Power Plan. Facing legislative gridlock on climate change, Obama had instructed the Environmental Protection Agency (EPA) to issue regulations that would fundamentally move the American power system away from coal. This initiative, predictably, enraged industry groups and “red states,” who challenged it in the DC Circuit Court. They asked the court not only to declare the plan unlawful but also to immediately halt its implementation. The DC Circuit agreed to fast-track arguments on the plan’s legality but refused to pause its rollout.

In an “unprecedented request,” the challengers then turned directly to the Supreme Court. They asked the justices to freeze the Clean Power Plan before any lower court had even ruled on its lawfulness – a move that everyone involved recognized as extraordinary. At this moment, the Supreme Court was evenly split, a 5-4 court leaning conservative, but with Justice Anthony Kennedy, a Republican appointee, serving as the crucial swing vote. Kennedy, famously “persuadable,” had recently authored the majority opinion legalizing gay marriage, making the court’s direction unpredictable.

Five Days That Shook the Court

The emergency request landed in the chambers of Chief Justice John Roberts, who oversees the DC Circuit. The ordinary expectation was a swift denial, or at most, a collective denial by his colleagues. What transpired instead was a five-day sprint of internal memos that would forever alter the court’s operational landscape.

Day One: Roberts’s Salvo Chief Justice Roberts initiated the debate with a three-page, single-spaced memo. He argued forcefully that Obama’s plan must be halted due to the “enormous burdens” it would impose on states and the coal industry. He claimed there was “no time to waste” and questioned the EPA’s authority under the Clean Air Act, invoking the “major questions doctrine” – a principle suggesting that unless Congress clearly grants an agency vast power, that power doesn’t exist.

But beyond legal arguments, Roberts’s memo betrayed a deep-seated grievance. He felt the EPA had “tricked” the court just months earlier in a mercury emissions case. In that instance, the court had ruled against the EPA after a three-year litigation, but by then, the regulation had effectively gone into effect, rendering the ruling somewhat moot. Roberts was “peeved,” “irked,” and determined “not to let it happen again.” He viewed the traditional slow legal process as enabling the Obama administration to be “sneaky” in implementing its regulations.

Day One: Breyer’s Counterpoint Justice Stephen Breyer, a Democratic appointee, immediately responded, laying out a contrasting chronology. He pointed out that the Clean Power Plan didn’t require industry action for six years, with total compliance not due until 2030. There was, in his view, “plenty of time to do this in the usual course.” Breyer found the court’s intervention “quite unusual” and saw no urgent need to bypass the DC Circuit, advocating for the lower court to be allowed to finish its work.

Day Two: Roberts’s Insistence Roberts’s reply the next day revealed a growing irritation and an unyielding insistence on blocking the plan. He dismissed Breyer’s procedural concerns: “I recognize that the posture of this stay request is not typical, but review is sought of what has been described as the most expensive regulation ever imposed on the power sector.” The Chief Justice’s impatience was palpable; he was “ready to rule now.” He believed the court would ultimately strike down the Clean Power Plan, stating it was “highly unlikely to survive” a full review. He saw no reason to let the process play out when he already knew the answer.

This memo made it clear that Roberts was engaged in a power struggle with the Obama administration. He explicitly stated, “I am of the mind that a rule designed to transform a substantial swath of the nation’s economy should be tested by this court before it is presented as a fait accompli.” As Liptac observes, this was not the “even-handed, magisterial tone” typically seen in public; here, Roberts was “acting as a bulldozer.”

Day Three: Kagan Sounds the Alarm Justice Elena Kagan, another Democratic appointee, filed an even more direct memo, opposing the Chief Justice’s stance. She called the relief sought “unique” and used the word “unprecedented” to describe what Roberts wanted to do. Kagan stressed the complexity of the case, arguing that it involved “a complex statutory and regulatory regime” that demanded more time and consideration. “This is weird. Are we sure we want to do this?” she seemed to ask, highlighting the gravity of the situation.

Day Four: Alito’s Existential Threat Justice Samuel Alito, a Republican appointee, then weighed in, echoing Roberts’s sense of insult and grievance. He declared that a “failure to stay this rule threatens to render our ability to provide meaningful judicial review and by extension our institutional legitimacy a nullity.” Alito framed the issue as an “almost existential threat” to the court itself, portraying the Obama administration as attempting to sideline the justices.

What’s extraordinary about these private exchanges, the journalists emphasize, is how frankly the justices reveal their “actual agendas.” Unlike their public decisions, which often present a “mask” of confining themselves to facts and legal materials, these memos expose the human element: grievances with an administration, fears about the court’s institutional place, and concerns about legitimacy – factors not typically associated with purely legal reasoning.

Day Five: Kennedy’s Decisive Whisper The entire debate, as predicted, came down to Justice Anthony Kennedy. On February 9th, the fifth day, Kennedy sent a terse, three-sentence note: he was voting with the Chief. The debate was over. Within hours, the Supreme Court issued its order, a single paragraph of “legal boilerplate” with no explanation, blocking President Obama’s signature environmental initiative.

The Enduring Legacy of the Shadow Docket

The insights gleaned from these confidential memos profoundly vindicate the long-standing criticisms of the shadow docket. This was “not the court doing A+ work,” Caner and Liptac conclude. Instead, it was a court “throwing ideas around, seeming to be motivated by grievances against a president…getting snippy with each other and just in general not doing the kind of work we associate with the nation’s highest court.” The justices were disregarding time-tested procedures without seemingly considering the long-term implications. As Kagan noted, it was “unprecedented,” but no one seemed to ask: “where is it going to lead?”

Where it led was to an explosion of emergency applications under the Trump administration, with the court often quickly ruling in favor of presidential initiatives on major questions, a stark contrast to the Obama era. Political scientists have observed more partisan voting on the shadow docket than on the merits docket, suggesting that when acting fast, justices may rely more heavily on partisan impulses. For instance, in the Biden years, the court initially voted against Biden on three emergency applications, only to rule for him when those same cases returned to the merits docket for full consideration. This pattern suggests that deliberation truly “dampens partisan impulses.”

Beyond partisan concerns, the rise of the shadow docket poses a fundamental risk to the court’s legitimacy. Unlike elected officials, Supreme Court justices serve for life and derive their legitimacy not from votes, but from public trust. The act of writing a reasoned opinion is a judge’s way of saying, “Here’s why you should trust me; here’s my work.” When the court increasingly abandons this practice, issuing barely explained rulings on major national issues, it erodes that trust. As the Supreme Court’s public approval ratings plumb historic lows, its increasing reliance on the shadow docket to make pivotal decisions only exacerbates this critical problem, threatening the very foundation of its authority.

한국어

“How Intercom 2X’d engineering velocity with Claude Code | Brian Scanlan” — How I AI 기반 기사 원본 영상 보기

AI가 엔지니어링의 ‘타이핑 한계’를 허물다: 인터콤, 클로드 코드로 개발 속도 2배 달성 비결

[서울, 대한민국] 엔지니어링 팀의 생산성을 두 배로 끌어올린다는 것은 대다수 기술 기업의 꿈일 것입니다. 하지만 고객 관계 관리(CRM) 및 메시징 플랫폼 분야의 선두 주자인 인터콤(Intercom)은 이 꿈을 현실로 만들었습니다. AI 도구, 특히 앤스로픽(Anthropic)의 클로드 코드(Claude Code)를 도입한 지 불과 몇 달 만에 연구 개발(R&D) 부서의 풀 리퀘스트(PR, Pull Request) 처리량을 2배로 늘리는 놀라운 성과를 달성한 것입니다.

‘How I AI’ 팟캐스트에 출연한 인터콤의 선임 수석 엔지니어 브라이언 스캔런(Brian Scanlan)은 AI가 어떻게 엔지니어링의 근본적인 변화를 이끌고 있으며, 인터콤이 이를 통해 어떤 혁신을 이루었는지 상세히 공유했습니다. 이번 기사에서는 인터콤의 성공 사례를 통해 AI 시대 엔지니어링 조직의 미래와 그 실질적인 구현 전략을 심층적으로 탐구합니다.

1. AI가 가져온 ‘상상력의 시대’: 엔지니어링의 새로운 지평

브라이언 스캔런은 AI가 엔지니어링에 가져온 가장 큰 변화 중 하나로 “상상력이 장벽이지, 도구가 아니다(imagination is now the barrier, not the tool)“라는 점을 꼽았습니다. 그는 “말 그대로 코드를 타이핑하는 능력의 물리적 한계를 AI가 해제했다”고 강조하며, 개발자들이 더 이상 도구에 맞춰 작업하는 대신 아이디어 구현에 집중할 수 있게 되었다고 설명했습니다.

인터콤은 이미 제품 측면에서 AI를 적극적으로 수용하며 ‘AI 우선(AI-first)’ 전략을 펼쳐왔습니다. 이러한 배경 속에서 엔지니어링 팀 역시 AI의 잠재력을 명확히 인지하고 있었습니다. 특히 지난 2023년 11월과 12월경, 앤스로픽의 오푸스(Opus) 46 모델(GPT-4U 모델을 지칭하는 것으로 보임)의 출시와 함께 “모든 것이 변했다”고 스캔런은 회고합니다. 이 시점을 기점으로 AI 모델의 성능이 급격히 향상되면서 개발자들은 AI를 단순한 자동 완성 도구가 아닌, 아이디어를 현실로 만드는 강력한 협력자로 인식하기 시작했습니다.

흥미롭게도, 스캔런은 연말 휴가 기간 동안 많은 개발자들이 클로드 코드를 활용해 개인 프로젝트를 진행하며 엄청난 속도로 새로운 기술을 습득하는 현상을 목격했다고 언급했습니다. 이는 기업들이 직원들에게 충분한 유급 휴가(PTO, Paid Time Off)를 제공함으로써 AI 활용 능력을 자연스럽게 향상시킬 수 있는 ‘AI 리터러시 해킹’ 전략이 될 수 있음을 시사합니다.

2. 2배 가속, 그 이상의 목표: 데이터로 증명하다

인터콤의 CTO 다라(Darra)는 R&D 처리량 2배 증가라는 명확한 목표를 제시했고, 인터콤 팀은 이를 달성하기 위해 AI 도입을 ‘제품’처럼 다루었습니다. 사용자 피드백을 수집하고, 도구 사용 방식을 분석하며, 텔레메트리(telemetry) 데이터를 활용해 성과를 측정했습니다.

핵심 측정 지표: 인터콤은 ‘R&D 인원당 병합된 PR(merged PRs per R&D head)‘을 주요 지표로 삼았습니다. 이는 단순히 소프트웨어 엔지니어뿐만 아니라 제품 관리자(PM, Product Manager), 디자이너, 기술 프로젝트 관리자(TPM, Technical Project Manager) 등 모든 R&D 구성원의 기여를 포함하는 포괄적인 지표입니다.

성과 및 도전:

• 2배의 처리량: 9개월 전과 비교하여 엔지니어링 팀의 처리량이 2배 증가했습니다.
• CI 시스템의 변화: PR 수가 급증하자 기존 CI(Continuous Integration) 시스템이 과부하로 ‘녹아내릴’ 정도였습니다. 인터콤은 병목 현상을 해결하기 위해 CI 시스템 성능을 개선했고, 이제는 코드 리뷰가 새로운 병목 지점이 되었습니다.
• ‘올인(All-in)’ 전략의 효과: 스캔런은 “만약 당신이 모든 것을 걸고(go all-in), 팀과 코드베이스를 준비한다면, 전반적인 제품 품질과 개발자 경험이 향상될 것”이라고 강조했습니다. 높은 신뢰 문화를 바탕으로 팀이 시스템을 악용하지 않고 목표를 향해 나아가도록 독려했습니다.
• 10배의 비전: 2배 성과에 만족하지 않고, “왜 10배는 안 되는가?”라는 질문을 던지며 지속적인 개선을 추구하고 있습니다.

3. 속도와 함께 향상된 품질: 기술 부채 해결의 기회

일각에서는 AI로 코드를 빠르게 생성하면 품질이 저하될 것이라는 우려를 제기합니다. 하지만 인터콤의 경험은 정반대였습니다.

품질 측정 및 검증:

• 출시 시간 단축: 기능 개발 첫 코드 작성부터 뉴스 채널에 업데이트가 게시되기까지 걸리는 시간이 꾸준히 단축되었습니다.
• 스탠포드 연구 협력: 인터콤은 스탠포드 연구 그룹과 협력하여 자체 데이터를 제공했습니다. 이 연구 결과, 코드 품질이 오히려 향상되고 있음이 밝혀졌습니다.
• 사고 감소: 스캔런은 모든 인시던트(incident)에 참여하지만, AI 도입 이후 프로덕션 관련 사고나 고객 불만이 증가하지 않았다고 보고했습니다.

기술 부채 해결의 기회: AI는 기술 부채(tech debt)를 해결하고 코드베이스의 전반적인 품질을 향상시킬 수 있는 절호의 기회를 제공합니다. 과거에는 코드 품질 개선, 보안 강화, 개발자 경험 향상 등 내부 프로젝트에 할당할 수 있는 R&D 역량이 제한적이었습니다. 이러한 프로젝트는 직접적인 매출(ARR, Annual Recurring Revenue)을 창출하지 않기 때문에 비즈니스적 우선순위에서 밀려나기 쉬웠습니다.

하지만 AI를 통해 이러한 작업의 ‘비용’이 크게 압축되면서, 이제 기업은 내부 투자에 더 적극적으로 나설 수 있게 되었습니다. 스캔런은 CTO나 엔지니어링 VP(Vice President)들에게 “코드베이스에서 싫어하는 모든 것을 한 달 동안 수정하는 데 투자하고, 얼마나 빠르게 해결할 수 있는지 보라”고 조언하며, 이것이 팀의 사기와 생산성 향상에 큰 도움이 될 것이라고 덧붙였습니다.

4. AI 에이전트 중심의 소프트웨어 공장

인터콤은 모든 기술 작업이 ‘에이전트 중심(agent-first)‘으로 전환될 것이라고 믿습니다. 이는 AI 에이전트가 기본적인 작업을 수행하고, 인간 엔지니어는 더 높은 수준의 문제 해결과 창의적인 작업에 집중하는 미래를 의미합니다.

‘Create PR’ 스킬의 사례: 인터콤은 클로드 코드를 사용하면서 한 가지 문제에 직면했습니다. AI가 생성하는 풀 리퀘스트 설명(PR description)이 코드 자체만 설명할 뿐, PR의 ‘의도(intent)‘나 관련 맥락을 제대로 전달하지 못해 품질이 저하되는 경향이 있었습니다.

• 문제 해결: 인터콤은 LLM 심사관(LLM judge)을 활용하여 좋은 PR 설명의 기준을 정의하고, 기존 PR 설명의 품질 저하 추세를 확인했습니다.
• ‘Create PR’ 스킬 개발: 이를 해결하기 위해 ‘create PR’이라는 내부 스킬(skill)을 개발했습니다. 이 스킬은 세션의 맥락을 활용하여 PR의 의도를 명확하게 설명하도록 에이전트를 안내합니다.
• 표준 강제: 초기에는 개발자들이 이 스킬을 자발적으로 사용하지 않았기에, 인터콤은 GitHub CLI를 통한 PR 생성을 차단하고 반드시 ‘create PR’ 스킬을 사용하도록 강제했습니다.
• ‘소프트웨어 공장’ 비유: 스캔런은 이를 ‘소프트웨어 공장(software factory)‘에 비유하며, CI/CD 파이프라인처럼 코드 작성 단계부터 표준화된 가드레일(guardrails)을 적용할 수 있게 되었다고 설명했습니다. 이는 개별 작업의 사소해 보이는 품질 개선이 모여 전체 시스템의 신뢰성과 예측 가능성을 높이는 결과를 가져옵니다.

결과적으로 AI는 리다이렉트(redirect) 추가와 같은 반복적이고 지루한 작업은 에이전트에게 맡기고, 인간 엔지니어는 고객을 위한 혁신적인 문제 해결에 집중할 수 있도록 해줍니다.

5. AI 활용의 투명성과 최적화: 텔레메트리

AI 도구의 성공적인 도입과 확산을 위해서는 ‘눈을 가린 채 비행하지 않는 것(not flying blind)‘이 중요합니다. 인터콤은 AI 활용 현황을 파악하고 개선하기 위해 강력한 텔레메트리 시스템을 구축했습니다.

• 스킬 사용량 추적 (Honeycomb): 각 내부 스킬의 사용량 데이터를 허니콤(Honeycomb)으로 전송하여, 어떤 스킬이 얼마나 자주 사용되는지 실시간으로 모니터링합니다. 이를 통해 개발자들은 자신이 만든 스킬의 실제 영향을 파악하고, 팀 전체의 AI 활용 패턴을 분석할 수 있습니다.
• 세션 데이터 분석 (S3 및 내부 도구): 모든 클로드 코드 세션 데이터(대화 기록)를 S3에 익명화하여 저장합니다. 이 데이터를 기반으로 세션 이탈률, 유용한 결과(예: PR 생성) 도달 시간 등을 분석하여 AI 활용의 효과성을 평가합니다.
• 개인 맞춤형 피드백 도구: 세션 데이터를 활용하여 개인별 AI 활용 패턴에 대한 피드백을 제공하는 내부 도구를 개발했습니다. 예를 들어, 특정 스킬 사용이 비효율적이었거나 개선이 필요한 부분을 사용자에게 알려줍니다. 이는 직원들이 AI 도구를 더 효과적으로 활용하고 스스로 개선해 나갈 수 있도록 지원합니다.

이러한 텔레메트리 시스템은 어떤 스킬이 가장 효과적인지, 어떤 스킬이 개선이 필요한지 등 실행 가능한 통찰력을 제공하여 AI 플랫폼의 지속적인 성장을 돕습니다.

6. 내부 스킬 저장소 구축 및 배포

인터콤은 내부 AI 스킬들을 효율적으로 관리하고 배포하기 위해 GitHub 저장소(repo)를 활용하고 있습니다.

• 중앙 집중식 저장소: 모든 팀이 각자의 필요에 맞는 플러그인과 스킬을 개발하여 이 중앙 저장소에 기여합니다. 핵심 플러그인(예: 안전 후크, PR 병합, 텔레메트리 관련 기능)은 엄격한 품질 관리를 거쳐 모든 직원에게 배포됩니다.
• IT 팀과의 협력: 클로드 코드의 기본 플러그인 배포 메커니즘이 불안정하다고 판단하여, 인터콤은 내부 IT 시스템을 활용해 모든 플러그인을 직원들의 노트북 디스크에 직접 동기화합니다. 이는 안정적인 배포를 보장하고 디버깅의 복잡성을 줄여줍니다.

7. 비용과 투자: 알파를 위한 과감한 선택

AI 모델 사용 비용은 인터콤의 개발 속도 그래프처럼 가파르게 상승하고 있습니다. 이는 마치 새로운 사무실을 여러 개 여는 것과 같은 막대한 비용입니다.

• ‘비용은 나중에 고려’ 전략: 인터콤은 현재 “모든 것에 오푸스 모델을 사용하고, 비용은 나중에 신경 쓰자(care about the bill later)“는 과감한 전략을 취하고 있습니다. 그 이유는 현재 AI를 통해 얻는 ‘알파(alpha)’ 또는 ‘이점’이 비용을 훨씬 상회한다고 판단하기 때문입니다.
• 장기적 투자 관점: 인터콤은 AI 플랫폼에 대한 투자를 장기적인 관점에서 접근하고 있습니다. 당장의 비용 최적화보다는 최대한 빠르게 AI의 잠재력을 활용하여 혁신적인 성과를 내는 데 집중하고, 충분한 이점을 확보한 후에 비용 효율화 단계를 밟을 계획입니다.

물론 이러한 접근 방식이 모든 기업에 적합한 것은 아닙니다. 하지만 인터콤은 선두 주자로서 AI가 가져올 미래 가치에 대한 확고한 믿음을 바탕으로 과감한 투자를 단행하고 있습니다.

결론: AI가 이끄는 엔지니어링의 새로운 시대

인터콤의 사례는 AI가 단순한 생산성 향상을 넘어, 엔지니어링 조직의 본질과 작동 방식을 근본적으로 변화시킬 수 있음을 명확히 보여줍니다. 2배의 개발 속도 향상, 코드 품질 개선, 기술 부채 해결, 그리고 ‘에이전트 중심’의 소프트웨어 공장으로의 전환은 AI 시대 엔지니어링의 미래를 엿볼 수 있는 중요한 청사진입니다.

브라이언 스캔런은 “AI와 속도 증가는 모든 강점과 약점을 증폭시킨다”고 말합니다. 인터콤은 견고한 소프트웨어 개발 역량과 변화에 대한 높은 개방성을 바탕으로 AI의 강점을 극대화할 수 있었습니다. 이제 기업들은 AI를 통해 인간 엔지니어가 더욱 창의적이고 전략적인 문제 해결에 집중할 수 있도록 지원하며, 궁극적으로 더 높은 품질의 제품을 더 빠르게 시장에 선보일 수 있는 새로운 시대에 직면해 있습니다. 인터콤의 이야기는 변화를 두려워하지 않고 과감하게 투자하며 AI를 조직의 핵심 동력으로 삼는 기업들이 얻게 될 놀라운 이점을 시사합니다.

“Inside the Five Days That Remade the Supreme Court” — New York Times Podcasts 기반 기사 원본 영상 보기

대법원 ‘그림자 심의’의 어두운 탄생: 비밀 문서가 드러낸 5일간의 격돌

미국 대법원은 지난 10년간 이민부터 대통령 권한에 이르기까지 주요 판결들을 서두르고 은밀하게 처리하는 시스템에 의존해왔습니다. 이 시스템은 ‘그림자 심의(shadow docket)‘라고 불리며, 공개적인 논의와 심도 있는 심의 과정을 건너뛰고 신속하게 결정을 내리는 방식으로 작동합니다. 뉴욕타임스(New York Times)의 심층 보도에 따르면, 이 그림자 심의가 시작된 정확한 순간과 그 배경이 기밀 해제된 대법관들의 서신을 통해 처음으로 세상에 드러났습니다.

조디 캐너(Jodie Caner)와 애덤 립택(Adam Liptac) 기자는 이 충격적인 문서를 통해 대법원의 운영 방식을 송두리째 바꾼 5일간의 내부 논쟁을 파헤쳤습니다. 이는 단순한 절차적 변화가 아니라, 사법부의 정당성과 공정성에 대한 근본적인 질문을 던지는 사건으로 기록될 것입니다.

‘그림자 심의’란 무엇인가? 대법원의 두 얼굴

대법원의 판결은 국가 전체를 구속하는 법이며 하급 법원에 지침을 제공하고 소송 당사자들에게 행동 방침을 제시합니다. 일반적으로 대법원이 사건을 처리하는 방식은 ‘정식 심의(merits docket)‘라고 불립니다. 이는 우리가 흔히 아는 대법원의 모습입니다. 대법관들은 어떤 사건을 심리할지 신중하게 결정하고, 수많은 법률 서류(briefs)를 검토합니다. 사건 심리를 결정하면 또다시 여러 차례 서류를 제출받고, 구두 변론(oral arguments)을 듣습니다. 이후 대법관들은 함께 앉아 토론하고 투표하며, 5번, 10번, 심지어 15번까지 판결문 초고와 보충 의견, 반대 의견을 주고받습니다. 이 모든 과정이 1년여에 걸쳐 진행된 후, 수십에서 백 페이지에 달하는 논리적인 판결문이 발표됩니다. 이는 지대한 주의와 숙고의 산물입니다.

반면, ‘그림자 심의’는 이 모든 과정을 생략합니다. 매우 짧은 기간 안에 간략한 서류만으로 진행되며, 구두 변론이나 대면 심의는 없습니다. 그 결과는 근거가 거의 없거나 아예 없는 판결로 이어집니다. 지난 10년간 그림자 심의는 대법원 업무의 주요 부분이 되었으며, 특히 트럼프 대통령에게 막대한 재량권과 권력을 부여한 결정들이 포함되어 있습니다.

그림자 심의에 대한 비판과 옹호론:

비판론자들은 그림자 심의가 너무 빠르게 진행되어 충분한 정보 없이 결정이 내려지며, 판결의 질이 떨어질 수 있다고 우려합니다. 또한, 대중과의 소통 부족으로 인해 대법원이 ‘직감, 개인적인 감정, 당파적 본능’에 따라 성급하게 판결하는 것이 아닌지 의문을 제기합니다. 느리고 신중하며 사려 깊은 사법 시스템이 피하고자 했던 모든 요소가 그림자 심의에서는 그대로 드러날 수 있다는 것입니다.

반면, 옹호론자들은 이러한 종류의 명령이 오랜 역사를 가지고 있다고 주장합니다. 사형 집행이 임박했거나 선거 분쟁처럼 신속한 결정이 필요한 경우, 대법원은 종종 긴급하게 개입해왔다는 것입니다. 또한, 그림자 심의의 결정은 ‘일시적인 것’이며, 사건이 하급 법원을 거쳐 대법원으로 다시 돌아올 때까지 현상 유지를 위한 조치일 뿐이라고 말합니다.

하지만 실제로는 이러한 결정들이 종종 ‘사실상 최종적인(conclusive)’ 결과를 낳습니다. 수십만 명을 추방하거나 수천 명을 해고하는 결정은 나중에 대법원이 번복하더라도 되돌리기 매우 어렵습니다. 일시적이라고 하지만 그 영향력은 막대하며, 결국 사건의 실질적인 해결로 이어지는 경우가 많습니다.

2016년, 대법원을 뒤흔든 5일: ‘청정 전력 계획’ 사건

뉴욕타임스가 입수한 대법관들 간의 16페이지에 달하는 기밀 서신은 그림자 심의의 기원을 정확히 보여줍니다. 이 서신을 통해 우리는 대법관들이 사법 절차의 오랜 규범을 포기하고 새로운 업무 방식을 채택하던 순간을 엿볼 수 있습니다.

사건의 발단은 2016년 오바마 행정부의 ‘청정 전력 계획(Clean Power Plan)‘이었습니다. 오바마 대통령은 두 번째 임기 말에 기후 변화에 대응하기 위해 의회를 통한 입법에 실패하자 환경보호청(EPA)에 규제를 지시했습니다. 이 규제는 미국의 전력 시스템을 석탄에서 벗어나 청정에너지원으로 전환하는 것을 목표로 했습니다. 당연히 산업계와 공화당 성향의 주들은 이에 반발했고, 법원에 계획의 중단을 요청했습니다.

이들은 DC 항소법원(DC Circuit)에 계획의 위법성을 판단해달라고 요청하는 동시에, 소송이 진행되는 동안 계획의 시행을 ‘중단(halt)‘해달라고 요구했습니다. 항소법원은 위법성 심리는 신속하게 진행하겠지만, 계획의 시행을 중단하지는 않겠다고 결정했습니다.

그러자 청정 전력 계획에 반대하는 측은 전례 없는 행동을 취했습니다. 하급 법원이 아직 계획의 합법성을 검토하기도 전에 대법원에 직접 계획의 시행을 중단해달라고 요청한 것입니다. 이 요청은 당시 대법원 관계자들 사이에서 전례 없는 일로 받아들여졌습니다.

당시 대법원은 5대 4로 나뉘어 공화당이 임명한 대법관들이 다수를 차지했지만, 분위기는 지금과는 사뭇 달랐습니다. 앤서니 케네디 대법관(Justice Anthony Kennedy)은 공화당이 임명했지만, ‘설득 가능한 인물’로 불리는 스윙 보터(swing vote)였습니다. 그는 동성 결혼 합법화 판결에서 다수 의견에 참여하는 등 예측 불가능한 인물이었습니다. 이런 대법원에 전례 없는 긴급 요청이 도착한 것입니다.

비밀 메모가 드러낸 5일간의 격론

이 긴급 요청은 DC 항소법원을 관할하는 존 로버츠 대법원장(Chief Justice John Roberts)의 사무실에 도착했습니다. 변호사들은 로버츠 대법원장이 이 요청을 기각하거나 동료 대법관들과 상의 후 기각할 것이라고 예상했습니다. 그러나 로버츠 대법원장은 대신 다른 대법관들에게 이 요청을 ‘매우 진지하게 받아들여야 한다’는 메모를 작성하기 시작했습니다. 이것이 대법원의 수 세기 관행을 재정비하는 5일간의 ‘단거리 경주’의 시작이었습니다.

1. 로버츠 대법원장의 첫 포문 (2016년 2월 4일): 로버츠 대법원장은 세 페이지짜리 메모에서 오바마 행정부의 계획이 중단되어야 한다고 주장했습니다. 그는 이 계획이 주 정부와 석탄 산업에 막대한 부담을 줄 것이며, 규제 준수를 위한 시간이 촉박하다고 강조했습니다. 또한, 오바마 대통령이 의지하는 ‘청정 대기법(Clean Air Act)‘이 그러한 권한을 명확하게 부여하지 않으며, 이는 ‘주요 질문 원칙(major questions doctrine)‘에 위배될 수 있다고 언급했습니다. 로버츠 대법원장은 EPA가 불과 몇 달 전 수은 배출량 규제와 관련하여 대법원을 “속였다”고 느끼며, “이번에는 다시 그런 일이 일어나지 않도록 하겠다”는 강한 불쾌감을 드러냈습니다. 그는 전통적인 느린 법적 절차가 오바마 행정부의 ‘교활한’ 규제를 허용하고 있다고 본 것입니다.

2. 브라이어 대법관의 반박 (2월 4일): 같은 날, 스티븐 브라이어 대법관(Justice Stephen Breyer)은 로버츠 대법원장의 메모에 반박하는 의견을 제시했습니다. 그는 청정 전력 계획이 당장 산업계에 아무것도 요구하지 않으며, 전면적인 규제 준수는 2030년까지 필요 없으므로 서두를 이유가 없다고 지적했습니다. 또한, 항소법원이 아직 합법성을 검토하는 동안 대법원이 개입하는 것은 “매우 이례적인 일”이라고 강조하며, 하급 법원이 먼저 처리하도록 두어야 한다고 주장했습니다.

3. 로버츠 대법원장의 재반박 (2월 5일): 로버츠 대법원장은 다음 날 곧바로 재반박 메모를 보냈고, 그의 어조는 더욱 짜증스럽고 단호해졌습니다. 그는 브라이어 대법관의 절차적 우려를 일축하며, “이 규제는 전력 부문에 부과된 가장 비싼 규제로 묘사된다”며 즉각적인 조치의 필요성을 주장했습니다. 그는 대법원이 결국 이 계획을 검토하여 무효화할 것이라는 확신을 가지고 있었으며, “법원이 궁극적으로 이 사건을 실질적으로 심리한다면, 이 법은 살아남을 가능성이 매우 낮다고 본다”고 명시했습니다. 즉, 그는 대법원의 정상적인 심의 절차를 거치지 않고도 이미 마음을 정한 상태였습니다.

4. 케이건 대법관의 경고 (2월 8일): 민주당이 임명한 엘레나 케이건 대법관(Justice Elena Kagan)은 로버츠 대법원장의 입장에 반대하는 메모를 제출하며 경고음을 울렸습니다. 그녀는 대법원장이 하려는 일이 “전례 없는(unprecedented)” 일이라며 “진정한 우려(real pause)“를 표했습니다. 또한, 이 사건은 “복잡한 법규 및 규제 체제와 관련된 어려운 사건”이므로 더 많은 시간이 필요하다고 주장했습니다.

5. 알리토 대법관의 지지 (2월 8일): 공화당이 임명한 새뮤얼 알리토 대법관(Justice Samuel Alito)은 로버츠 대법원장을 지지하며, 법원이 행동하지 않으면 “사법부의 정당성(institutional legitimacy)이 무효화될 수 있다”고 주장했습니다. 그는 오바마 행정부가 대법원을 무력화시키려 한다고 느끼는 로버츠 대법원장의 ‘모욕감’에 공감했습니다.

이러한 메모들은 대법관들이 법적인 논리보다는 당파적 불만, 대법원의 위상에 대한 우려 등 ‘법과 무관한’ 요소들에 얼마나 깊이 영향을 받는지 보여줍니다. 그들의 일반적인 판결문이 사실과 관련 법률 자료에 국한되는 ‘가면’이라면, 이 비밀 서신들은 대법관들의 실제 의제를 솔직하게 드러내는 창문이었습니다.

스윙 보터의 결정과 그 이후

결국, 모든 것은 스윙 보터였던 앤서니 케네디 대법관에게 달려 있었습니다. 논쟁의 5일째인 2월 9일, 그는 단 세 문장으로 된 매우 짧은 메모를 보냈습니다. “대법원장에게 찬성한다.” 그것으로 논쟁은 끝났습니다. 대법원은 5대 4로 오바마 대통령의 핵심 환경 정책을 차단하는 명령을 내렸습니다. 우리가 방금 살펴본 이 모든 개인적인 논쟁과는 대조적으로, 대중에게 발표된 명령은 법적 상투어만 담긴 한 단락짜리 설명 없는 판결문이었습니다.

‘그림자 심의’의 유산: 신뢰 상실과 당파적 사법부

이 비밀 문서들은 그림자 심의에 대한 비판을 정당화합니다. 이것은 대법원이 ‘최고 수준의 작업(A+ work)‘을 한 것이 아니었습니다. 대법관들은 불만과 짜증에 사로잡혀 아이디어를 던지고, 서로에게 날카롭게 반응하며, 국가 최고 법원이 해야 할 종류의 일을 하지 않고 있었습니다. 그들은 충분한 정보 없이 너무 빠르게 움직였으며, 아무도 “이것이 어디로 이어질까?”라고 묻지 않았습니다.

이러한 변화는 특히 트럼프 행정부 시절에 극명하게 드러났습니다. 대법원은 이민, 기관 권한, 정부 지출, 트랜스젠더 군인 등 주요 사안에 대한 수많은 긴급 요청에 시달렸고, 대부분 트럼프 행정부의 손을 들어주었습니다. 오바마 행정부 때는 주요 대통령 이니셔티브를 중단시켰던 것과 달리, 그림자 심의는 트럼프 대통령의 정책을 압도적으로 허용했습니다.

정치학자들은 그림자 심의에서 ‘정식 심의’보다 훨씬 더 당파적인 투표가 일어난다고 지적합니다. 충분한 숙고와 심의가 부족할수록 대법관들의 당파적 충동이 더 강하게 작용한다는 것입니다. 실제로 바이든 행정부 시절, 대법원은 세 건의 긴급 요청에서 바이든 대통령에게 반대하는 결정을 내렸지만, 이 사건들이 나중에 정식 심의를 거쳤을 때는 바이든 행정부의 손을 들어주었습니다. 즉, 숙고할 시간이 충분할수록 당파적 충동은 약해지는 경향을 보입니다.

숙고는 또한 법원에 대한 ‘국민의 신뢰’를 구축합니다. 우리는 선출직 공무원들을 선택하지만, 대법관들은 선택하지 않습니다. 그들은 평생 권력을 유지합니다. 따라서 판사가 의견을 작성하는 행위는 “이 결과에 동의하지 않더라도 내가 어떻게 이런 결론에 도달했는지 보여줄 테니 나를 신뢰해야 한다”고 말하는 행위입니다. 하지만 대법원이 그림자 심의를 통해 이러한 과정을 대폭 축소하면서, 사법부의 정당성에는 심각한 위험이 따릅니다. 현재 대법원에 대한 국민의 신뢰는 역대 최저 수준이며, 주요 결정을 내리는 데 그림자 심의에 대한 의존도가 높아질수록 이러한 문제는 더욱 악화될 것입니다.

대법원의 ‘그림자 심의’는 단순한 절차적 편의를 넘어, 사법부의 본질과 역할에 대한 깊은 성찰을 요구하고 있습니다. 비밀 서신이 드러낸 5일간의 격돌은 미국 대법원이 어떤 방향으로 나아가고 있는지, 그리고 그 과정에서 무엇을 잃어가고 있는지에 대한 중요한 단서를 제공합니다.