在這篇文章中，我們深入探討了 Google 的內部運作，這是我們每天都在使用的工具，但很少有人真正了解。在最近一起反壟斷訴訟中泄露了一些文件後，我們有了一個獨特的機會來探索 Google 的演算法。其中一些演算法已經是眾所周知的，但有趣的是這些從未與我們分享過的內部資訊。
我們將檢視這些技術如何處理我們的搜尋，並決定我們看到的結果。在這個分析中，我旨在提供對每個 Google 搜尋背後複雜系統的清晰和詳細的觀點。
此外，我將嘗試以圖表形式呈現 Google 的架構，並考慮到最新的發現。
首先，我們將專注於提取兩份文件中提到的所有算法。第一份文件是關於 Pandu Nayak 的證詞（Alphabet 的副總裁），第二份文件是關於道格拉斯·W·奧爾德教授的反駁證詞，針對 Google 專家愛德華·A·福克斯教授在其2022年6月3日的報告中提出的觀點。後者的文件討論了著名且具爭議性的「福克斯報告」，其中 Google 操縱實驗數據，試圖證明用戶數據對他們並不那麼重要。
我將試著根據官方資訊來解釋每個演算法，如果有的話，然後將從試驗中提取的資訊放入圖像中。
導航增強
這對於 Google 來說是關鍵因素之一，也是最重要的因素之一。這也在 2019 年的「Project Veritas」洩漏事件中被提及，因為 Paul Haar 將其添加到了他的履歷中。
Navboost 收集用戶如何與搜索結果進行交互的數據，特別是通過點擊不同查詢來進行。該系統對點擊進行統計，並使用從人工製作的質量評分中學習的算法來改進結果的排名。其理念是，如果一個結果經常被選擇（並且獲得積極評分）用於特定查詢，那麼它可能應該有更高的排名。有趣的是，谷歌多年前曾嘗試過刪除 Navboost，結果發現搜索結果變差了。
RankBrain
RankBrain 是 Google 於 2015 年推出的人工智慧和機器學習系統，對處理搜尋結果至關重要。透過機器學習，它不斷改進其理解語言和搜索意圖的能力，特別擅長解釋模糊或複雜的查詢。據說它已成為 Google 排名的第三大重要因素，僅次於內容和連結。它使用 Tensor Processing Unit (TPU) 來顯著增強其處理能力和能源效率。
我推斷QBST和詞頻加權是RankBrain的組成部分。因此，我在這裡加入它們。
QBTS（Query Based Salient Terms）專注於查詢和相關文件中最重要的術語，並利用這些信息來影響結果的排名。這意味著搜索引擎可以快速識別用戶查詢的最重要方面，並優先考慮相關的結果。例如，這對於模糊或複雜的查詢特別有用。
在證詞文件中，QBST 被提及在 BERT 的限制性上下文中。具體提到的是「BERT 並不包含大型記憶系統，如 navboost、QBST 等」這意味著，儘管 BERT 在理解和處理自然語言方面非常有效，但它也有一定的限制，其中之一就是處理或取代像 QBST 這樣的大規模記憶系統的能力。
詞頻加權根據用戶與搜索結果的互動方式調整查詢中個別詞語的相對重要性。這有助於確定某些詞語在查詢上下文中的相關性。該加權還能有效處理在搜索引擎數據庫中非常常見或非常罕見的詞語，從而平衡搜索結果。
深度排名
更進一步了解自然語言，使搜索引擎能更好地理解查詢的意圖和上下文。這得益於 BERT；事實上，DeepRank 是 BERT 的內部名稱。通過對大量文件數據進行預訓練，並根據點擊和人工評分的反饋進行調整，DeepRank 可以微調搜索結果，使其更直觀和與用戶實際搜索的內容相關。
排名嵌入
RankEmbed 可能專注於為排名嵌入相關特徵的任務。雖然文件中沒有具體的功能和能力細節，但我們可以推測它是一個設計用於改善 Google 搜尋分類流程的深度學習系統。
RankEmbed-BERT
RankEmbed-BERT 是 RankEmbed 的增強版本，整合了 BERT 的算法和結構。這種整合是為了顯著提高 RankEmbed 的語言理解能力。如果不使用最新數據進行重新訓練，其效果可能會降低。在訓練過程中，它僅使用了一小部分流量，表明並非必須使用所有可用數據。
RankEmbed-BERT 與其他深度學習模型（如 RankBrain 和 DeepRank）一起，對 Google 搜尋系統中的最終排名分數產生影響，但會在初始檢索結果後運作（重新排名）。它是根據點擊和查詢數據進行訓練，並使用人類評估者（IS）的數據進行精細調整，訓練成本比 RankBrain 等前饋模型更高。
媽媽
它的強大程度大約是 BERT 的 1,000 倍，代表了 Google 搜尋的重大進步。它於 2021 年 6 月推出，不僅能理解 75 種語言，還是多模式的，意味著它能夠解釋和處理不同格式的資訊。這種多模式能力使 MUM 能夠提供更全面和上下文相關的回應，減少了需要進行多次搜索以獲得詳細資訊的需求。然而，由於其高計算需求，它的使用非常有選擇性。
七巧板和膠水
所有這些系統在Tangram框架內協同運作，負責從Glue收集數據並組合SERP。這不僅僅是排名結果的問題，而是以對用戶有用且易於訪問的方式組織它們，考慮到像圖像輪播、直接答案和其他非文本元素等因素。
最後，新鮮度節點和即時黏合確保結果是最新的，更加重視最近的資訊，這對於新聞或時事搜索尤其重要。
在審判中，他們提到了尼斯的襲擊，查詢的主要意圖在襲擊當天發生了變化，導致Instant Glue將一般圖像抑制到Tangram，並且改為推廣有關尼斯的相關新聞和照片（«nice pictures» vs «Nice pictures»）:
憑藉這一切，Google將結合這些算法來實現以下目標：
- 理解 查詢: 解讀使用者在搜索欄中輸入的字詞和詞語背後的意圖。
- 確定相關性: 根據內容與查詢的匹配程度對結果進行排名，利用過去互動和質量評分的信號。
- 優先考慮新鮮度: 確保當需要時，最新鮮和最相關的信息能夠在排名中上升。
- 個性化 結果: 不僅根據查詢，還根據使用者的上下文（如位置和設備）量身定制搜索結果。幾乎沒有比這更個性化的了。這裡有更多個性化的內容。
從我們迄今所見的一切來看，我相信Tangram、Glue和RankEmbed-BERT是迄今為止唯一洩漏的新穎項目。
正如我們所看到的，這些演算法是由各種指標所滋養的，我們現在將再次對其進行分解，從試驗中提取信息。
Google 用來評估搜尋品質的指標
在這一部分，我們將再次聚焦於道格拉斯·W·奧爾德教授的反駁證詞，並包括來自之前洩漏的信息，即「Project Veritas」的一個。
在其中一張投影片中，顯示了 Google 使用以下指標來發展和調整其演算法在排名搜索結果時考慮的因素，並監控演算法變化如何影響搜索結果的質量。目標是嘗試通過這些指標捕捉用戶意圖。
1. IS 分數
人類評估員在 Google 搜尋產品的開發和改進中扮演著至關重要的角色。通過他們的工作，產生了被稱為「IS 分數」（信息滿意度分數，範圍從 0 到 100）的指標，該指標是從評估員的評分中衍生出來，並被用作 Google 品質的主要指標。
它是匿名評估的，評估者不知道他們是在測試 Google 還是 Bing，它用於比較 Google 與其主要競爭對手的表現。
這些 IS 分數不僅反映了知覺品質，還用於訓練 Google 搜尋系統內的各種模型，包括像 RankBrain 和 RankEmbed BERT 這樣的分類算法。
根據文件，截至2021年，他們正在使用IS4。IS4被認為是對用戶效用的一個近似值，應該作為這樣對待。它被描述為可能是最重要的排名指標，但他們強調這只是一個近似值，容易出現後面我們將討論的錯誤。
這個指標的衍生指標 IS4@5 也被提到了。
IS4@5 metric 是 Google 用來衡量搜尋結果品質的指標，專注於前五個位置。這個指標包括特殊的搜尋功能，如 OneBoxes（也稱為「藍色連結」）。還有一個變體指標叫做 IS4@5 web，專注於評估前五個網頁結果，不包括搜尋結果中的廣告等其他元素。
雖然 IS4@5 用於快速評估搜索結果中前幾個結果的質量和相關性很有用，但其範圍有限。它並未涵蓋搜索質量的所有方面，特別是在結果中省略了廣告等元素。因此，該指標僅提供了搜索質量的部分視角。要對 Google 的搜索結果質量進行完整和準確的評估，有必要考慮更廣泛的指標和因素，類似於通過各種指標而不僅僅是體重來評估一般健康狀況。
**人類評估者的限制
評估者面臨著一些問題，比如理解技術查詢或評判產品的受欢迎程度或查詢的解釋。此外，像 MUM 這樣的語言模型可能會像人類評估者一樣理解語言和全球知識，為相關性評估的未來帶來機遇和挑戰。
儘管評估者的重要性不言而喻，但他們的觀點與真實用戶的觀點存在顯著差異。評估者可能缺乏與查詢主題相關的特定知識或先前的經驗，這可能會影響他們對相關性和搜索結果質量的評估。
根據2018年和2021年的泄露文件，我能夠整理出一份所有 Google 承認在內部演示中存在的錯誤清單。
- 時間不一致：由於查詢、評估和文件可能來自不同時間，因此可能出現差異，導致評估無法準確反映文件的當前相關性。
- 重複使用評估：重複使用評估以快速評估和控制成本的做法可能導致評估不代表當前內容的新鮮度或相關性。
- 理解技術查詢：評估者可能不理解技術查詢，導致難以評估專業或利基主題的相關性。
- 評估流行度：評估者在判斷競爭性查詢解釋或競爭產品的流行度時存在困難，這可能影響其評估的準確性。
- 評估者的多樣性：某些地區評估者缺乏多樣性，而且他們都是成年人，這並不反映 Google 用戶群的多樣性，其中包括未成年人。
- 用戶生成內容：評估者往往對用戶生成的內容要求嚴格，這可能導致低估其價值和相關性，儘管這些內容是有用且相關的。
- 新鮮度節點訓練：由於缺乏足夠的訓練標籤，調整新鮮度模型存在問題。人工評估者通常不夠關注相關性的新鮮度方面，或者缺乏查詢的時間背景。這導致低估尋求新奇性的查詢的最新結果。現有的基於 IS 的 Tangram Utility 用於訓練相關性和其他評分曲線，也存在相同的問題。由於人工標籤的限制，新鮮度節點的評分曲線在首次發布時進行了手動調整。
我真誠地相信，人類評估者一直負責「寄生式SEO」的有效運作，這件事情終於引起了丹尼·蘇利文的注意，並在這則推文中分享了這一點：something that has finally come to the attention of Danny Sullivan
如果我們看最新的品質指南變化，我們可以看到他們終於調整了「滿足需求指標」的定義，並新增了一個新的範例供評估者考慮，即使結果具有權威性，如果不包含使用者正在尋找的資訊，就不應該被評為高分。
Google Notes的新推出，我相信，也指向了這個原因。Google 無法百分之百確定什麼是優質內容。
我相信我所討論的這些事件幾乎同時發生並非巧合，我們很快將會看到改變。
2. PQ（頁面品質）
我推斷他們在談論頁面品質，這是我的解釋。如果是這樣，試用文件中沒有提到除了作為一個使用的指標。我唯一擁有的官方文件提到 PQ 的是來自Search Quality Rater Guidelines，這些指南會隨時間改變。因此，這將是人類評估者的另一項任務。
這些資訊也被發送給演算法以建立模型。在這裡，我們可以看到這個洩漏的提案在「Project Veritas」中。
根據文件，這裡有一個有趣的觀點，質量評分員只評估移動頁面。
3. 並排
這可能是指將兩組搜索結果並排放置，以便評估員可以比較它們的相對質量。這有助於確定哪一組搜索結果對於特定的搜索查詢更相關或更有用。如果是這樣，我記得 Google 有自己的可下載工具，名為 sxse。
這個工具允許使用者投票選擇他們偏好的搜尋結果集，因此直接提供對不同調整或版本的搜尋系統效果的反饋。
4. 實驗現場
官方資訊發表在How Search Works中指出，Google會進行實際流量實驗，以測試人們在推出新功能之前如何與其互動。他們會為一小部分用戶啟用該功能，並將其行為與沒有該功能的對照組進行比較。有關用戶與搜索結果互動的詳細指標包括：
- 點擊結果
- 執行的搜索次數
- 查詢放棄
- 人們點擊結果所花費的時間
這些數據有助於衡量與新功能的互動是否積極，並確保變更提高了搜索結果的相關性和實用性。
但審判文件僅突顯兩個指標：
- 位置加權長點擊：這個指標會考慮點擊的持續時間和它們在結果頁面上的位置，反映用戶對他們找到的結果的滿意度。
- 注意力：這可能意味著測量在頁面上花費的時間，提供了用戶與結果及其內容互動的時間概念。
此外，在 Pandu Nayak 的證詞中，解釋了他們使用交錯測試而不是傳統的A/B測試進行大量的演算法測試。這使他們能夠進行快速可靠的實驗，從而使他們能夠解釋排名的波動。
5. 新鮮度
新鮮度是搜索結果和搜索功能的關鍵方面。當相關信息可用時，立即顯示相關信息並在內容過時時停止顯示。
為了讓排名算法在搜索引擎結果頁面中顯示最新的文件，索引和提供系統必須能夠以非常低的延遲時間發現、索引和提供新鮮的文件。儘管理想情況下，整個索引應盡可能更新，但由於技術和成本限制，無法以低延遲時間索引每個文件。索引系統會優先處理不同路徑上的文件，提供延遲時間、成本和質量之間的不同取捨。
有一個風險，即非常新鮮的內容可能被低估其相關性，反之，具有大量相關性證據的內容可能因查詢含義的改變而變得不太相關。
新鮮度節點的作用是對過時的分數進行修正。對於尋求新鮮內容的查詢，它會提升新鮮內容的排名，降低過時內容的排名。
不久前，有消息洩露稱 Google Caffeine 不再存在（也被稱為基於Percolator的索引系統）。儘管在內部仍然使用舊名稱，但現在存在的實際上是一個全新的系統。新的「咖啡因」實際上是一組彼此通信的微服務。這意味著索引系統的不同部分作為獨立但相互連接的服務運行，每個部分執行特定的功能。這種結構可以提供更大的靈活性、可擴展性和更容易進行更新和改進。
根據我的理解，這些微服務的一部分將是Tangram和Glue，具體包括Freshness Node和Instant Glue。我這麼說是因為在「Project Veritas」的另一份洩露文件中，我發現2016年有一份提案，計劃製作或整合一個名為「Instant Navboost」的新鮮度信號，以及Chrome訪問記錄。
到目前為止，他們已經整合了「Freshdocs-instant」（從名為 freshdocs-instant-docs pubsub 的 pubsub 清單中提取，該清單在新聞發佈後的1分鐘內提取了這些媒體發佈的新聞）以及搜索高峰和內容生成相關性：
在新鮮度指標中，我們有幾個是通過相關Ngrams和相關顯著詞的分析來檢測的。
- 相關的N元組：這些是以統計上顯著的模式一起出現的詞組。在事件或熱門話題期間，相關性可能會突然增加，表明出現了一個高峰。
- 相關的突出詞語：這些是與某個主題或事件密切相關的突出詞語，它們在短時間內在文件中的出現頻率增加，表明對該主題或相關活動的興趣出現了高峰。
一旦檢測到尖峰，接下來可能會使用以下新鮮度指標：
- 單詞（RTW）：對於每個文檔，使用標題、錨文本和主文本的前400個字符。這些被分解為與趨勢檢測相關的單詞，並添加到Hivemind索引中。主文本通常包含文章的主要內容，不包括重複或常見元素（樣板）。
- 自Unix時間開始的半小時數（TEHH）：這是一種以半小時為精度的時間度量，表示自Unix時間開始以來的半小時數。它有助於確定某事發生的時間。
- 知識圖譜實體（RTKG）：指的是Google知識圖譜中的對象，這是一個包含真實實體（人、地點、事物）及其相互關聯的數據庫。它有助於豐富搜索的語義理解和上下文。
- S2單元（S2）：指的是Google知識圖譜中的對象，這是一個包含真實實體（人、地點、事物）及其相互關聯的數據庫。它有助於豐富搜索的語義理解和上下文。
- Freshbox文章分數（RTF）：這些是地球表面的幾何劃分，用於地理索引地圖。它們有助於將網絡內容與精確的地理位置關聯起來。
- 文檔NSR（RTN）：這可能指的是文檔的新聞相關性，並且似乎是一種衡量標準，用於確定文檔與當前新聞或趨勢事件的相關性和可靠性。該指標還可以幫助過濾低質量或垃圾內容，確保索引和突出顯示的文檔具有高質量並且對實時搜索具有重要意義。
- 地理維度：定義文檔中提到的事件或主題的地理位置的特徵。這些可以包括坐標、地名或識別符，如S2單元。
如果你在媒體行業工作，這些資訊至關重要，我總是在數位編輯培訓中包含這些內容。
點擊的重要性
在這一部分，我們將聚焦於Google內部郵件中分享的名為「統一點擊預測」的簡報，「Google是神奇的」簡報，Search All Hands簡報，Danny Sullivan內部郵件，以及「Project Veritas」洩露的文件。
在整個過程中，我們看到點擊對於理解使用者行為和需求的基本重要性。換句話說，Google 需要我們的數據。有趣的是，Google 被禁止談論的其中一件事就是點擊。
在開始之前，重要的是要注意，討論點擊的主要文件早於2016年，而自那時以來，Google已經經歷了重大變化。儘管如此，他們的方法仍然基於對用戶行為的分析，將其視為一種質量信號。你還記得他們解釋CAS模型的專利嗎？
每一次用戶的搜索和點擊都有助於 Google 的學習和持續改進。這種反饋循環使 Google 能夠適應並「學習」搜索偏好和行為，保持了它理解用戶需求的幻覺。
Google每天分析超過十億種新行為，這是在一個設計用來不斷調整並超越未來預測的系統中進行的。至少直到2016年，這超出了當時AI系統的容量，需要進行我們之前看到的手動工作，以及由RankLab進行的調整。
RankLab，我了解，是一個測試不同信號和排名因素權重以及其後果的實驗室。他們可能還負責內部工具«Twiddler»（這是我幾年前從«Project Veritas»讀到的一些內容），其目的是手動修改某些結果的IR分數，換句話說，能夠執行以下所有操作：
這段簡短的插曲過後，我繼續。
人類評估者的評分提供了基本觀點，點擊則提供了更詳細的搜索行為全景。
這揭示了複雜的模式，並且可以學習到二次和三次效應。
- 二階效應 反映出新興的模式：如果大多數人更喜歡詳細的文章而不是快速的清單，Google 會察覺到這一點。隨著時間的推移，它會調整其算法，以優先考慮這些更詳細的文章在相關搜索中的排名。
- 三階效應 是更廣泛的、長期的變化：如果點擊趨勢偏好全面指南，內容創作者會做出調整。他們開始製作更詳細的文章，減少清單，從而改變網絡上可用內容的性質。
在分析的文件中，提出了一個具體案例，說明通過點擊分析改善了搜索結果的相關性。Google發現了一個不一致之處，即基於點擊，用戶偏好於一些原來被認為不相關的文件，這些文件被證明是相關的，盡管被一組15,000個被認為不相關的文件所包圍。這一發現凸顯了用戶點擊作為識別大量數據中隱藏相關性的寶貴工具的重要性。
Google透過「與過去訓練以預測未來」來避免過度擬合。通過不斷評估和更新數據，模型保持當前和相關。該策略的一個關鍵方面是本地化個性化，確保結果對不同地區的用戶具有相關性。
關於個性化，在一份較新的文件中，Google聲稱它的應用有限，並且很少改變排名。他們還提到它從不出現在「頭條新聞」中。它的使用時機是為了更好地理解搜索內容，例如利用先前搜索的上下文，並且透過自動完成功能提供預測性建議。他們提到可能會稍微提升使用者經常使用的影片提供者，但每個人基本上會看到相同的結果。根據他們的說法，查詢比使用者數據更重要。
重要的是要記住，這種以點擊為中心的方法面臨著挑戰，特別是對於新的或不常見的內容。評估搜索結果的質量是一個複雜的過程，不僅僅是計算點擊次數。儘管我寫的這篇文章已經幾年了，我認為它可以幫助更深入地了解這個問題。
Google的架構
在前一節的基礎上，這是我對我們如何在圖表中放置所有這些元素所形成的心智圖。很可能谷歌架構的某些組件並不在特定位置，或者並不是這樣相關，但我相信這已經足夠作為一個近似值。
Google的可能功能和架構。點擊以放大圖片。
谷歌和Chrome：成為默認搜索引擎和瀏覽器的鬥爭
在這最後一節中，我們專注於行為經濟學家、加州理工學院教授安東尼奧·蘭赫爾的專家證詞，關於使用默認選項影響用戶選擇，在內部演示中揭示了谷歌首頁默認值的戰略價值，以及谷歌副總裁吉姆·科洛圖羅斯在內部郵件中的聲明。
Jim Kolotouros 在內部通訊中透露，Chrome 不僅僅是一個瀏覽器，而是 Google 在搜索主導地位拼圖中的關鍵部分。
Google 收集的數據包括搜索模式、點擊搜索結果以及與不同網站的互動，這對於改進 Google 的演算法、提高搜索結果的準確性和增強定向廣告的效果至關重要。
對於安東尼奧·蘭赫爾（Antonio Rangel）來說，Chrome的市場主導地位超越了其流行程度。它作為進入Google生態系統的門戶，影響著用戶訪問信息和在線服務的方式。Chrome與Google搜索的整合，作為默認搜索引擎，使Google在控制信息流和數字廣告方面具有重大優勢。
儘管 Google 非常受歡迎，但 Bing 並非劣質的搜索引擎。然而，許多用戶偏好 Google，原因在於其默認配置和相關的認知偏差帶來的便利性。在移動設備上，默認搜索引擎的影響更為顯著，因為更改它們需要克服一定的阻力；修改默認搜索引擎需要多達 12 次點擊。
這個默認偏好也影響消費者的隱私決策。Google的默認隱私設置對於那些偏好更有限數據收集的人來說存在著顯著的阻力。改變默認選項需要意識到可用的替代方案，學習必要的改變步驟，以及實施，這代表了相當大的阻力。此外，行為偏差，如現狀偏好和損失厭惡，使用戶傾向於保持Google的默認選項。我在這裡更好地解釋了這一切。
安東尼奧·蘭赫爾的證詞直接 resonates with Google’s internal analysis revelations. 該文件顯示，瀏覽器的首頁設置對搜索引擎的市場份額和用戶行為有顯著影響。具體來說，將 Google 設為默認首頁的用戶，其在 Google 上的搜索量比那些沒有設置的用戶多 50%。
這表明默認首頁與搜索引擎偏好之間存在著很強的相關性。此外，這一設置的影響在不同地區有所不同，在歐洲、中東、非洲和拉丁美洲更為明顯，在亞太地區和北美洲則較不明顯。分析還顯示，相比於雅虎和MSN等競爭對手，Google對首頁設置的變化較不易受到影響，如果失去這一設置，競爭對手可能會遭受重大損失。
首頁設定被視為 Google 的一個關鍵戰略工具，不僅用於維持其市場份額，也可能成為競爭對手的潛在弱點。此外，這凸顯出大多數用戶並不主動選擇搜索引擎，而是偏向於首頁設定提供的默認訪問。從經濟角度來看，當設定為首頁時，Google 每位用戶的增量終身價值約為 3 美元。
結論
在探索了Google的算法和內部運作之後，我們看到了用戶點擊和人工評估員在搜索結果排名中所扮演的重要角色。
點擊作為用戶偏好的直接指標，對於 Google 不斷調整和改進其回應的相關性和準確性至關重要。儘管有時當數字不符合時，他們可能希望相反...
此外，人類評估員提供了一個至關重要的評估和理解層面，即使在人工智能時代，這仍然是不可或缺的。就我個人而言，我對這一點感到非常驚訝，知道評估員很重要，但沒有到這個程度。
這兩個輸入的結合，通過點擊的自動反饋和人工監督，不僅讓Google更好地理解搜索查詢，還能適應不斷變化的趨勢和信息需求。隨著人工智能的進步，有趣的是看到Google如何繼續平衡這些元素，以改進和個性化搜索體驗，在以隱私為重點的不斷變化的生態系統中。
另一方面，Chrome 不僅僅是一個瀏覽器；它是他們數位主導地位的關鍵組成部分。它與 Google 搜尋的協同作用，以及在許多領域的默認實施，影響了市場動態和整個數位環境。我們將看到反壟斷審判的結果，但他們已經在過去10年中因濫用壟斷地位而被罰款約100億歐元。