지난번 검색전쟁에 대한 포스트(2008년 대한민국은 검색전쟁의 시대)를 작성한 이후, 검색시장에 대한 더 깊은 자료를 구하기위해 도서관을 찾았다. 아무래도 인터넷을 통해서 구한 자료만으로는 부족한 감이 있었다. 개관한지 얼마되지 않는 곳이라 장서가 많지 않았지만, 다행히 '검색 2.0'이라는 책이 배가중이었다. '구글 스토리'도 관심 가는 책이었지만 '검색2.0'이라는 제목에 이끌려 이 책을 대출하게 되었다. '검색 2.0'이라는 제목은 한국인 역자에 의해서 지어진 이름이고, 원제는 '발견의 진화(Ambient Findability)이다.
 저자 피터 모빌은 오늘날의 인터넷 검색을 발견이라고 부른다. 역자는 서문에서 검색과 발견의 차이를 능동과 수동의 차이로 설명한다. 검색은 사용자가 원하는 단어를 입력해 정보를 찾는 일이지만, 발견은 사용자가 검색하는 과정에서 생각하지 않았던 정보가 눈에 띄는 것을 뜻한다. 쉽게 말해 발견은 정보가 웹에 의해 보여진다는 것이다. 이러한 발견을 사용자에게 더욱 유용하게 만드는 것이 바로 발견의 진화이다. 사실 발견되는 정보는 사용자가 원하는 것일 수도 있고 아닐 수도 있다. 검색어와 전혀 관련 없는 웹페이지가 발견되기도 하고, 검색 서비스를 이용하는 사용자를 향한 노골적인 광고도 자주 눈에 띈다.
 이를 개인화 서비스라 부르는데, 발견이 진화되기 위해 전제가 되어야하는 시스템이다. 쉽게 말해, 개인화 서비스는 사용자의 정보를 수집해서 그에 맞는 정보를 노출시키는 장치이다. 개인화 서비스는 이미 어느정도 성과를 보이고 있는데, 이는 가까운 웹페이지 광고에서 체험이 가능하다. 사용자의 IP주소를 추적해 그 위치정보를 파악하고 이에 맞는 광고를 노출시키는 것이다. 요즘과 같은 선거철에는 특히 유용할만한 시스템이다. 이런 광고를 외국 사이트를 서핑하면서 많이 봐왔던터라 낯설지는 않았다. 돈만 내면 IP주소를 통해서 사용자의 위치정보를 파악할 수 있다는 사실을 알고 있었고, 현재로서는 개개인의 유저가 이에 대해 이의를 제기한다고 해서 크게 달라질 것이 없다고 본다. 어쩌면 우리가 무심코 지나쳤던 인터넷 설치 계약서 속에 위치정보 활용의 권리를 넘기는 조항이 있었을지도 모른다. 그리고 미래에는 개인 사용자마다 인터넷 IP를 갖게 되고, 이 IP 속에 담긴 나이, 성별과 같은 정보가 광고업자에게 넘어가는 세상이 올지도 모른다. 발견의 진화가 갖는 어두운 면이다.

 정확한 검색을 위한 노력　
 검색은 생각보다 만만한 일이 아니다. 자신이 원하는 정보를 찾는 것은 사실 매우 힘든 일이다. 인터넷 상에는 수많은 정보들이 있고, 그 정보들은 어떤 규칙도 없이 널부러져있다. 그 속에서 원하는 정보를 찾는 일은 해변에서 설탕을 찾는 일과 같다. 설상가상으로 정보가 많아질수록 모래의 양도 늘어난다. 설탕 한 알갱이를 찾기위해 모래만 3억년을 파고 있어야할 판이다. 하지만 걱정할 필요는 없다. 지금 검색은 정보의 양에 식겁한 사람들을 위해서 지름길을 열어주고 있다. 검색으로 오므라이스의 요리법을 찾고, 가장 저렴한 보험에 가입한다. 검색은 집에서 모든 일을 해결할 수 있도록 도와준다. 이제 인터넷만 있으면 무엇이든 알아낼 수 있다. 검색이 항상 원하는 정보만 보여주는 것은 아니다. 검색의 능력에는 한계가 있다. 검색은 전적으로 사용자의 검색어에 의존한다. 가령 커피를 만드는 방법을 찾고자 하는 사람이 검색창에 '커피'라는 한 단어만 입력한다면 인터넷 커피 쇼핑몰만 노출될 것이 뻔하다. 기껏해야 건질 자료는 커피에 대한 백과사전 결과임이 분명하다. 일단 정확한 검색의 첫번째 조건은 사용자의 검색어 선택이다. 자신이 원하는 정보에 합당한 검색어를 입력해야한다. 커피 내리는 법을 알고 싶다면, '커피 내리는 법'이라는 검색어를 입력해야한다. 이제 검색 서비스는 한 문장정도는 이해할 능력이 생겼으니 안심해도 좋다.
 사용자가 검색어를 입력했다면, 검색 서비스는 DB 속에서 사용자가 원하는 정보를 노출시켜주어야 한다. 문제는 노출되는 정보의 정확도에 있다. 대부분의 검색엔진이 방대한 DB를 갖추고 있다. 더이상 정보의 량은 비교 대상이 되지 않는다. 검색 엔진은 정확도로 승부해야한다. 정확도를 판정하는 기준은 보통 키워드의 노출 횟수이다. 글의 제목이나 본문에 검색어가 많이 노출될 수록 검색 결과의 상단에 위치하게 된다. 이 때문에 스팸 블로거들이 같은 글을 2회 이상 반복적으로 사용하기도 한다. 결국 이 방식은 스팸 블로거에게 약이되고 있음을 알 수 있다. 키워드를 이용한 정확도 판정 시스템의 단점을 보완하기 위해서는 검색 엔진이 문장도 인식할 수 있어야 한다. 같은 단어가 여러번 반복될 수는 있어도 같은 문장이 여러번 반복되지는 않기 때문이다. 최소한 글을 쓰는 사람이라면 그렇다. 같은 단어를 쓰는 것도 눈에 거슬려 같은 의미의 다른 단어를 사용하는 마당에 같은 문장을 반복해서 쓰는 것은 글쓰는 사람의 도리를 져버린 행위에 불과하다. 검색 엔진은 같은 문장이 3번 이상 반복된 글을 과감히 필터로 걸러내야 한다.
 가끔은 좋은 글의 본문에 검색어가 단 한 자도 사용되지 않는 경우가 있다. 백과 사전이 대표적인 예이다. 고갱을 검색하면 제목에만 고갱이라는 단어가 들어있고, 본문에는 고갱이라는 단어를 사용하지 않는다. 고갱을 가리키는 '그'라는 단어가 있을 뿐이다. 본문에 검색어가 없다고 해서 항상 정확하지 않은 정보는 아니라는 것이다. 검색 엔진은 이런 주옥같은 글들을 찾아내는 일을 해야한다. 그럼 지금부터 검색업체는 전 직원을 동원해서 이와 같은 글을 찾는데 시간을 소비해야하는 것일까. 아마 이런 무모한 짓을 한다면 다음날 기자의 입을 막기 위해 입에 불을 물고 있어야 할 것이다. 이런 작업을 하려면 아무리 많은 사람을 쓰더라도 한 세기 안에 끝내지 못할 것이 분명하기 때문이다. 이런 무모한 일은 태그에게 맡기면 된다. 직원을 총동원할 필요도 없다. 단지 소수의 프로그래머들이 사용자가 입력한 태그를 인식할 수 있는 알고리즘을 구축하기만 하면 된다. XML같은 표준 포맷이 생긴 지금 이와 같은 일은 더 쉬워진 상태이다.
 검색엔진이 자체적인 키워드 맵을 구축하는 것도 검색 정확도 향상에 도움이 된다. 단어와 단어사이에는 오묘한 관계가 있는데, 이 관계를 이용하면 더 높은 수준의 검색 결과를 노출시킬 수 있다. 유사어나 동의어, 반의어같은 단어 간의 관계를 그물식으로 연결한 거대한 맵을 구성하고 검색 필터로 이용하는 것이다. 예를 들면 환경보호를 검색하면, 환경보호의 연관어인 그린피스라는 단어가 포함된 글의 정확도는 높이고, 반의어인 환경파괴라는 단어가 포함된 글의 정확도는 낮추는 것이다. 물론 정확도는 제목에 포함된 키워드로 정하는 것이 가장 정확하고, 그 다음이 태그와 본문의 키워드이다. 키워드 맵을 사용한 정확도 측정은 동점 결과의 노출 순위 결정에 사용되는 정도가 적절하다고 생각된다.

 광고와 정보의 불편한 공존　
 오늘날 검색 서비스가 공통적으로 갖고있는 문제점이다. 포털업체에게 검색 엔진의 DB관리나 서버유지에 들어가는 돈을 어디서 끌어오느냐는 매우 중요한 문제이다. 기업의 생사가 달려있기 때문이다. 가장 쉽게 돈을 버는 방법은 광고이다. 구글과 네이버도 다음도 광고를 통해 돈을 벌고 있다. 안타깝게도 네이버와 다음 광고 삽입은 도를 뛰어넘었다. 검색결과의 초기 화면이 광고로 범벅이된 경우가 상당하다. 사실 광고는 검색에 있어서 빼놓을 수 없는 요소가 되어버렸다. 책의 저자는 푸쉬(Push)와 풀(Pull)의 조화가 필요하다고 말하고 있다. 광고는 푸쉬에 해당한다. 솔직히 지금 인터넷은 너무 많은 푸쉬가 존재한다. 사용자가 끌어오는 풀 방식의 정보는 푸쉬에 비하면 극소수에 불과하다. 푸쉬와 풀이 조화롭게 공존하지 못하는 것이다.
 카페 검색이나 지식인 검색은 푸쉬의 범람에 대한 대안이다. 블로그 검색도 마찬가지이다. 이들 서비스는 일단 광고로부터 비교적 자유롭다. 통합검색에 노출되는 광고들에 현기증이 난다면, 카페 검색 탭이나 블로그 검색 탭을 이용하는 것이 하나의 방법이 될 것이다. 검색 서비스 업체도 이를 노리고 탭 검색의 강화에 노력하는 모습을 보이고 있다. 블로그 검색과 지식in은 네이버 검색의 트레이드마크이다. 자신이 원하는 정보를 얻기위해 일부러 지식in 페이지를 찾게 만들었던 네이버의 마케팅전략은 매우 성공적인 사례라고 여겨지고 있다. 더 매력적인 것은 지식in의 정보가 풀 방식으로 생산되었다는 사실이다. 풀 방식으로 생산된 정보는 좀 더 흡입력이 크다. 사용자가 생활하던 중 궁금했던 질문에 대한 답변이기 때문이다.
 푸쉬 정보는 검색 업체에게는 돈을 가져다주겠지만, 사용자에게는 피곤함을 안겨줄 뿐이다. 최근 필자는 네이버의 경쟁사인 다음의 검색결과에서 전에는 보지 못했던 스폰서 박스라는 것을 발견했다. 뭐가 아쉬워서 우측 사이드바까지 광고로 채운것인지 궁금하다. 그것도 배너광고로 말이다. 검색어를 입력했을 때 처음 보이는 화면에서 풀 방식의 검색결과가 전혀 보이지 않는 것은 풀과 푸쉬의 균형이 완전히 깨진 상태임을 알아야한다. 이런 검색결과를 사용자가 어떻게 신뢰하겠는가. 차라리 구글처럼 사이드바를 광고로 채우고 나머지 프레임에는 풀 방식의 검색결과를 실어주는 것이 현명하다고 생각된다. 포털 1위인 네이버도 마찬가지인데 다음이라고 못할 것 있냐고 생각한다면 오산이다. 네이버의 균형이 깨진 상태이기 때문에 다음은 바껴야한다. 당장 이런 식의 광고를 치우는 것은 불가능하다고 생각된다. 일단 광고 수익이 기업 유지에 큰 도움이 될테니 말이다. 더 큰 광고 수익이 필요하다면 차라리 광고의 숫자는 줄이고 위의 개인화 서비스를 이용하여 고수익의 타겟광고를 노출시키는게 효율적이라고 보인다. 물론 개인화 광고에 대한 사용자의 거부감 문제는 더 생각해봐야할 사안이다.
 당장 광고를 줄일 수 없다면, 풀 방식의 검색 결과를 강화하는 자세라도 보여야 한다. 다음은 카페 검색을 다음의 트레이드마크로 내놓은 상태이다. 그에 걸맞게 카페검색의 강화에 더 많은 노력을 기울어야한다. 광고를 몇 개 더 붙인 대가로 받은 수익만큼 말이다. 이에 대한 성과없이 광고만 늘리는 것은 사용자에게 거부감을 주기 딱 좋은 행동이다. 사용자는 무엇이 광고이고 무엇이 정보인지 알고 있다는 사실을 잊어서는 안된다. 그럼에도 불구하고 카페 탭에 마저 비즈사이트라는 광고를 붙인 다음의 의도는 정말 무엇인지 알 수가 없다. 카페 탭에 광고를 붙일만큼 다음 카페검색이 진화했다고 생각되지 않는데 말이다. 발전하기 위해서는 자본이 필요하기 때문에 어쩔 수 없다고 생각할 수도 있는데, 자본은 미래가 보이는 곳에 몰리는 것이다. 다음이 변화하는 모습을 보이면 자본도 모일 것이라고 필자는 굳게 믿는다.