Jak powie ci każdy, kto kiedykolwiek był w związku, ludzkie emocje to skomplikowana koncepcja. Jest to szczególnie prawdziwe w przypadku marketerów, którzy próbują zrozumieć jakościowe korzyści - wartość, która wykracza poza podstawową funkcjonalność - ich produktu lub usługi. Nie jest trudno zrozumieć, co robi Twój produkt, ale czy wiesz, jak czują się z nim konsumenci?



Dobrze by było, gdybyś użył analizy nastrojów w mediach społecznościowych, aby przekształcić niefiltrowane rozważania odbiorców docelowych w mediach społecznościowych na praktyczne spostrzeżenia strategiczne. Biorąc wszystkie dane społecznościowe dostępne na Twitterze a sklasyfikowanie go pod kątem pozytywnych, negatywnych lub neutralnych nastrojów jest poważnym przedsięwzięciem i nie ma dwóch równych metod. Dlatego właśnie HASHTAGS zbudował hybrydowy system analizy nastrojów, który łączy dwa podstawowe podejścia, listy reguł i uczenie maszynowe.



Listy reguł

Jednym z najprostszych sposobów radzenia sobie z analizą uczuć jest użycie reguł lub słowników stworzonych przez człowieka. W tym podejściu system opiera się na liście słów lub fraz, które bezpośrednio odnoszą się do określonego sentymentu. Na przykład każdy tweet zawierający słowo „piątka” może być oznaczony jako pozytywny, podczas gdy tweet zawierający słowo „okropny” będzie negatywny. Takie systemy są w dużym stopniu konfigurowalne i można je rozszerzyć o tysiące reguł dotyczących słów i fraz.

co znaczy 33?

Z drugiej strony systemy reguł borykają się z tweetami, które pasują do sprzecznych reguł, takich jak „Film nie był tak okropny, jak się spodziewałem”. Tutaj „okropne” mogłoby być określone jako negatywne, podczas gdy „przewidywane” byłoby pozytywne. Sprzeczne zasady określają Tweet jako neutralny, podczas gdy niektórzy ludzcy czytelnicy zinterpretowaliby go jako lekko pozytywny, a inni jako nieco negatywny.

Dodatkowym ograniczeniem systemów opartych na regułach jest poleganie na ludzkim wysiłku i zrozumieniu. Język ewoluuje szybko (szczególnie na Twitterze), a system oparty na regułach wymaga od kogoś stałego dostarczania nowych terminów i fraz. Aktualizacja systemu sentymentów nie zawsze jest najwyższym priorytetem, a system może szybko stać się przestarzały. Nawet przy czujnym monitorowaniu może być trudno zidentyfikować zmieniające się trendy językowe i określić, kiedy należy dodać nowe zasady.

Nauczanie maszynowe

Wykorzystują bardziej zaawansowane systemy analizy sentymentów Nauczanie maszynowe (ML) techniki (czasami nazywane również sztuczną inteligencją lub Przetwarzanie języka naturalnego ). Uczenie maszynowe to rodzina technik, które wykorzystują statystyki i prawdopodobieństwo do identyfikowania złożonych wzorców, których można używać do etykietowania elementów.

W przeciwieństwie do systemów opartych na regułach, systemy ML są wystarczająco elastyczne, aby wykrywać podobieństwa, które nie są od razu widoczne dla człowieka. Patrząc na wiele, wiele przykładów, system uczy się wzorców, które są zwykle kojarzone z pozytywnymi, negatywnymi lub neutralnymi uczuciami.



Na przykład system analizy sentymentów ML może stwierdzić, że tweety zawierające słowo „deszcz” i kończące się jednym wykrzyknikiem są negatywne, podczas gdy tweety zawierające słowo „deszcz” i dwa wykrzykniki są pozytywne. Człowiek może nie zauważyć tego wzorca lub nie zrozumieć, dlaczego on występuje, ale system ML może go wykorzystać do bardzo dokładnych prognoz.

Chociaż systemy uczenia maszynowego mogą dawać świetne wyniki, mają kilka wad. Kiedy język jest bardzo zróżnicowany, systemowi ML może być trudno przesiać przez szum w celu wykrycia wzorców. Gdy istnieją silne wzorce, mogą przyćmić mniej powszechne wzorce i spowodować, że system ML ignoruje subtelne wskazówki.

Podejście Sprout

Aby zbudować nasz system analizy sentymentów, zaprojektowaliśmy system hybrydowy, który łączy w sobie to, co najlepsze w podejściu opartym na regułach i uczeniu maszynowym. Przeanalizowaliśmy dziesiątki tysięcy tweetów, aby zidentyfikować miejsca, w których modele ML zmagają się, i wprowadziliśmy oparte na regułach strategie, które pomogą przezwyciężyć te niedociągnięcia.



Uzupełniając modele statystyczne zrozumieniem człowieka, stworzyliśmy solidny system, który dobrze sprawdza się w wielu różnych warunkach.

analiza nastrojów kiełków

Wszystko o dokładności

Z pozoru analiza nastrojów wydaje się dość prosta - wystarczy zdecydować, czy tweet jest pozytywny, negatywny czy neutralny. Ludzki język i emocje są jednak skomplikowane, a wykrywanie uczuć w tweecie odzwierciedla tę złożoność.

Rozważ te tweety. Czy są pozytywne, negatywne czy neutralne?

https://twitter.com/alex/status/917406154321420289

anioł numer 55555

Możesz czuć się pewnie w swoich odpowiedziach, ale są duże szanse, że nie wszyscy się z Tobą zgodzą. Badania wykazały, że ludzie zgadzają się tylko co do opinii na temat tweetów 60–80% czasu.

Możesz być sceptyczny. My też.

Aby to przetestować, dwóch członków naszego zespołu Data Science oznaczyło dokładnie ten sam zestaw 1000 tweetów jako pozytywny, negatywny lub neutralny. Pomyśleliśmy, że „codziennie pracujemy z tweetami; prawdopodobnie będziemy mieli prawie idealne porozumienie między nami dwojgiem ”.

Obliczyliśmy wyniki, a następnie sprawdziliśmy je dwukrotnie i trzykrotnie. Badanie było trafne - zgodziliśmy się tylko na 73% tweetów.

Wyzwania w analizie nastrojów

Badania (wraz z naszym małym eksperymentem) pokazują, że analiza nastrojów nie jest prosta. Dlaczego to takie trudne? Przejdźmy przez kilka największych wyzwań.

anioł numer 919

Kontekst

Tweety to malutka migawka w czasie. Chociaż niektóre tweety są niezależne, często są częścią trwającej rozmowy lub informacji referencyjnych, które mają sens tylko wtedy, gdy znasz ich autora. Bez tych wskazówek może być trudno zinterpretować uczucia autora.

Sarkazm

Wykrywanie sarkazmu to kolejny przykład wyzwania kontekstowego. Bez dodatkowych informacji systemy analizy nastrojów często mylą dosłowne znaczenie słów z ich przeznaczeniem. Sarkazm jest aktywnym obszarem badań akademickich, więc w najbliższej przyszłości możemy zobaczyć systemy, które rozumieją złośliwość.

Porównania

Sentyment staje się również trudny, gdy tweety dokonują porównań. Jeśli prowadzę badania rynku warzyw i ktoś pisze na Twitterze: „Marchew jest lepsza niż kabaczek”, czy ten tweet jest pozytywny czy negatywny? To zależy od twojej perspektywy. Podobnie ktoś może napisać na Twitterze: „Firma A jest lepsza niż firma B”. Jeśli pracuję dla firmy A, ten tweet jest pozytywny, ale jeśli pracuję w firmie B, jest negatywny.

Emoji

Emoji to odrębny język . Podczas gdy emoji wyrażają dość oczywiste uczucia, inne są mniej uniwersalne. Tworząc nasz system analizy sentymentów, przyjrzeliśmy się uważnie, jak ludzie używają emotikonów, stwierdzając, że nawet zwykłe emotikony mogą powodować zamieszanie. jest prawie tak samo używane do określenia „tak szczęśliwy, że płaczę” lub „tak smutny, że płaczę”. Jeśli ludzie nie mogą zgodzić się co do znaczenia emoji, nie może też tego zrobić system analizy sentymentów.

Definicja neutralności

Nawet „neutralne” nastawienie nie zawsze jest proste. Rozważ nagłówek wiadomości o tragicznym wydarzeniu. Chociaż wszyscy zgodzimy się, że to wydarzenie jest okropne, większość nagłówków wiadomości ma być rzeczowymi, pouczającymi oświadczeniami. Systemy analizy nastrojów są zaprojektowane tak, aby identyfikować emocje autora treści, a nie reakcję czytelnika. Chociaż może wydawać się dziwne widzieć okropne wiadomości oznaczone jako „neutralne”, odzwierciedla to zamiar autora, jakim jest przekazywanie faktycznych informacji.

Systemy analizy nastrojów różnią się również pod względem definicji neutralności. Niektórzy uważają, że neutralna kategoria jest uniwersalna dla każdego tweeta, w przypadku którego system nie może zdecydować, czy jest pozytywny, czy negatywny. W tych systemach „neutralny” jest synonimem „nie jestem pewien”. W rzeczywistości jednak istnieje wiele tweetów, które nie wyrażają emocji, jak na przykład poniżej.

ciągle widzę 22

Nasz system wyraźnie klasyfikuje tweety pozbawione emocji jako neutralne, zamiast używać neutralnych jako domyślnej etykiety dla niejednoznacznych tweetów.

Ocena analizy nastrojów

Przy tak wielu wyzwaniach w analizie sentymentów warto odrobić pracę domową przed zainwestowaniem w nowe narzędzie. Sprzedawcy starają się pomagać w pokonywaniu zawiłości, koncentrując się na statystykach dotyczących dokładności swoich produktów. Dokładność nie zawsze jest jednak porównaniem jabłek do jabłek. Jeśli planujesz używać dokładności jako miarki, oto kilka rzeczy, o które powinieneś zapytać.

Czy zgłaszana dokładność jest większa niż 80%?
Ponieważ ludzie zgadzają się ze sobą tylko w 60–80% przypadków, nie ma możliwości utworzenia testowego zestawu danych, który będzie zgodny z „prawidłowymi” etykietami opinii. Jeśli chodzi o sentyment, „poprawność” jest subiektywna. Innymi słowy, nie ma złotego standardu w zakresie dokładności testowania.

Górną granicą dokładności systemu analizy sentymentów zawsze będzie zgodność na poziomie ludzkim: około 80%. Jeśli sprzedawca twierdzi, że dokładność przekracza 80%, warto być sceptycznym. Aktualne badania sugerują, że nawet 80% dokładności jest mało prawdopodobne; czołowi eksperci w tej dziedzinie zwykle osiągają dokładność w połowie do 60 lat.

Ile kategorii sentymentów jest prognozowanych?
Niektórzy dostawcy oceniają dokładność tylko w przypadku tweetów, które zostały zidentyfikowane przez osoby oceniające jako ostatecznie pozytywne lub negatywne, z wyłączeniem wszystkich neutralnych tweetów. Znacznie łatwiej jest, gdy dokładność systemu wydaje się bardzo wysoka podczas pracy z silnie emocjonalnymi tweetami i tylko dwoma możliwymi wynikami (pozytywnymi lub negatywnymi).

Jednak na wolności większość tweetów jest neutralna lub niejednoznaczna. Kiedy system jest oceniany tylko na podstawie pozytywów i negatywów, nie można wiedzieć, jak dobrze system radzi sobie z neutralnymi tweetami - większością tego, co faktycznie zobaczysz.

Jakie typy tweetów są zawarte w ich zestawie testowym?
Należy zbudować i przetestować system analizy nastrojów na tweetach, które są reprezentatywne dla rzeczywistych warunków. Niektóre systemy analizy nastrojów są tworzone przy użyciu tweetów specyficznych dla domeny, które zostały przefiltrowane i wyczyszczone, aby system był jak najłatwiejszy do zrozumienia.

Na przykład sprzedawca mógł znaleźć wcześniej istniejący zbiór danych, który zawiera tylko silnie emocjonalne tweety o branży lotniczej, bez spamu lub tweetów niezwiązanych z tematem. Spowodowałoby to wysoką dokładność, ale tylko w przypadku bardzo podobnych tweetów. Jeśli pracujesz w innej domenie lub otrzymujesz tweety niezwiązane z tematem lub spam, zobaczysz znacznie niższą dokładność.

Jak duży był testowy zbiór danych?
Systemy analizy nastrojów należy oceniać w kilku tysiącach tweetów, aby zmierzyć wydajność systemu w wielu różnych scenariuszach. Nie uzyskasz prawdziwej miary dokładności systemu, gdy system jest testowany tylko na kilkuset tweetach.

544 znaczenie liczby aniołów

W Sprout zbudowaliśmy nasz model na podstawie zbioru 50 000 tweetów wybranych z losowej próbki z Twittera. Ponieważ nasze tweety nie są specyficzne dla domeny, nasz system analizy nastrojów działa dobrze w wielu różnych domenach.

Dodatkowo tworzymy oddzielne prognozy dla kategorii pozytywnych, negatywnych i neutralnych; nie stosujemy neutralności, gdy inne przewidywania zawodzą. Nasza dokładność została przetestowana na 10 000 tweetów, z których żaden nie został użyty do zbudowania systemu.

Zobacz analizę nastrojów Sprout na żywo ze słuchaczami

Żadne badania na świecie nie zastąpią oceny systemu z pierwszej ręki. Daj naszemu nowemu systemowi analizy sentymentów jazdę próbną w ramach naszego najnowszego zestawu narzędzi do monitorowania społeczności Słuchacze i zobacz, jak to działa. Ostatecznie najlepszym narzędziem do słuchania w mediach społecznościowych jest to, które spełnia Twoje potrzeby i pomaga uzyskać większą wartość z mediów społecznościowych. Pomożemy Ci już dziś zacząć.

Podziel Się Z Przyjaciółmi: